List of all items
Structs
- bigram::Bigram
- bpe::Merge
- bpe::MergeData
- bpe::PreToken
- bpe::encoder::BpeBuilder
- bpe::encoder::BpeEncoder
- bpe::model::BpeModel
- bpe::trainer::BpeTrainer
- bpe::trainer::BpeTrainerConfig
- bpe::trainer::HotPairWindowStats
- bpe::trainer::TrainerMemoryUsage
- counter::BigramCounter
- counter::SourceBatchOptions
- counter::WordCounter
- pretokenizer::ChunkOptions
- pretokenizer::DEFAULT_PAT
- pretokenizer::PreTokenizer
- pretokenizer::UnicodeBigramSelection
- spec::gpt2::Gpt2Spec
- spec::unitoken::UnitokenSpec
Enums
- MyError
- bpe::CharIdx
- bpe::Character
- bpe::trainer::InitialAlphabet
- bpe::trainer::TieBreak
- pretokenizer::BoundaryMode
- pretokenizer::ChunkHint
- pretokenizer::SplitChunk
- pretokenizer::SplitToken
- pretokenizer::UnicodeBigramMixedBoundary
Traits
- bpe::Cachable
- bpe::CharSplit
- bpe::CharToIdx
- bpe::HasChar
- bpe::IdxLike
- bpe::utils::ToWord
- bpe::utils::WordDebugExt
- spec::Spec
- spec::WordDisplay
- traits::CanEncode
- traits::CanStrToWord
- traits::CanToWord
- traits::CanTrain
- traits::Decode
- traits::Encode
- traits::Encoder
- traits::Imply
- traits::ImplyHack
- traits::Train
Functions
- pretokenizer::_find_chunk_boundaries
- pretokenizer::_find_chunk_boundaries_with_options
- pretokenizer::_read_file_to_buffer
- pretokenizer::create_special_token_regex
- pretokenizer::parse_unicode_bigrams
- pretokenizer::save_words
- pretokenizer::sort_words
- pretokenizer::split_special_tokens
- pretokenizer::unicode_bigram_to_string