estimate_token_count

Function estimate_token_count 

Source
pub fn estimate_token_count(text: &str) -> usize
Expand description

估算文本的 token 数量 这是一个简化的实现,实际应用中可以使用更精确的 token 计算器