List of all items

Structs

• ReconstructedTokenIter
• StrDetection
• Token
• Tokenizer
• TokenizerBuilder
• normalizer::AeOeNormalizer
• normalizer::ArabicNormalizer
• normalizer::ChineseNormalizer
• normalizer::Classifier
• normalizer::ClassifierOption
• normalizer::CompatibilityDecompositionNormalizer
• normalizer::ControlCharNormalizer
• normalizer::JapaneseNormalizer
• normalizer::LowercaseNormalizer
• normalizer::NormalizedTokenIter
• normalizer::NormalizerOption
• normalizer::PersianNormalizer
• normalizer::TurkishNormalizer
• normalizer::VietnameseNormalizer
• segmenter::ArabicSegmenter
• segmenter::ChineseSegmenter
• segmenter::GermanSegmenter
• segmenter::JapaneseSegmenter
• segmenter::KhmerSegmenter
• segmenter::KoreanSegmenter
• segmenter::LatinSegmenter
• segmenter::SegmentedStrIter
• segmenter::SegmentedTokenIter
• segmenter::SegmenterOption
• segmenter::ThaiSegmenter

Enums

• Language
• Script
• SeparatorKind
• TokenKind
• normalizer::CharOrStr

Traits

• Tokenize
• normalizer::CharNormalizer
• normalizer::Normalize
• normalizer::Normalizer
• segmenter::Segment
• segmenter::Segmenter

Type Aliases

• segmenter::SegmenterMap

Statics

• normalizer::LOSSY_NORMALIZERS
• normalizer::NORMALIZERS
• segmenter::DEFAULT_SEGMENTER
• segmenter::DEFAULT_SEPARATOR_AHO
• segmenter::SEGMENTERS

Constants

• separators::CONTEXT_SEPARATORS
• separators::DEFAULT_SEPARATORS