Struct Tokenizer 

pub struct Tokenizer { /* private fields */ }

分词器

Implementations

impl Tokenizer

pub fn new() -> Self

创建新的分词器（过滤停用词）

pub fn with_stopwords() -> Self

创建保留停用词的分词器

pub fn tokenize(&self, text: &str) -> Vec<String>

分词（自动检测语言）

pub fn tokenize_english(&self, text: &str) -> Vec<String>

英文分词（空格分割 + 小写化）

pub fn tokenize_chinese(&self, text: &str) -> Vec<String>

中文分词（单字 + 双字）

Trait Implementations

impl Default for Tokenizer

fn default() -> Self

Returns the “default value” for a type.