Struct TokenTrackingLLM 

pub struct TokenTrackingLLM<L: BaseChatModel> { /* private fields */ }

带 Token 统计的 LLM 包装器

包装任意 BaseChatModel,自动累计 prompt / completion token 用量, 优先使用 LLM 返回的真实 usage,无则用 tiktoken 估算。

Implementations

impl<L: BaseChatModel> TokenTrackingLLM<L>

pub fn new(llm: L, counter: Arc<dyn TokenCounter>) -> Self

pub fn for_openai(llm: L) -> Result<Self, String>

用 Tiktoken(cl100k_base)计数器包装

pub async fn chat( &self, messages: Vec<Message>, config: Option<RunnableConfig>, ) -> Result<LLMResult, L::Error>

调用 LLM 并统计 token

pub async fn get_usage(&self) -> TrackerTokenUsage

获取累计用量

pub async fn reset(&self)

重置统计

pub async fn estimate_cost(&self, pricing: &ModelPricing) -> f64

估算成本(美元)