Struct Tokenizer 

pub struct Tokenizer { /* private fields */ }

分词器

Implementations

impl Tokenizer

pub fn load(path: &Path) -> Result<Self>

从文件加载分词器

参数

• path: tokenizer.json 文件路径

返回

加载好的分词器

pub fn encode(&self, text: &str, add_special_tokens: bool) -> Result<Encoding>

分词并编码文本

参数

• text: 输入文本
• add_special_tokens: 是否添加特殊 token（如 [CLS], [SEP]）

返回

编码结果

pub fn encode_batch( &self, texts: Vec<&str>, add_special_tokens: bool, ) -> Result<Vec<Encoding>>

批量编码

参数

• texts: 文本列表
• add_special_tokens: 是否添加特殊 token

返回

编码结果列表

pub fn decode(&self, ids: &[u32], skip_special_tokens: bool) -> Result<String>

解码 token IDs 为文本

参数

• ids: token ID 列表
• skip_special_tokens: 是否跳过特殊 token

返回

解码后的文本

pub fn vocab_size(&self) -> usize

获取词汇表大小