Struct LLMCache 

pub struct LLMCache { /* private fields */ }

LLM 调用缓存

缓存 LLM 调用的输入输出，避免相同请求重复调用 API。

示例

use langchainrust::core::cache::LLMCache;

let cache = LLMCache::new();
cache.put("key", llm_result).await;

if let Some(cached) = cache.get("key").await {
    println!("缓存命中: {}", cached.result.content);
}

Implementations

impl LLMCache

pub fn new() -> Self

pub fn with_config(config: CacheConfig) -> Self

pub fn build_key(messages: &[Message], model: &str) -> Result<String, String>

从消息列表生成缓存键

将消息列表序列化为 JSON 字符串作为键。 包含 model 名称以确保不同模型的调用不互相影响。 如果序列化失败，返回错误而非回退到空字符串（M34）。

pub async fn get(&self, key: &str) -> Option<CachedLLMResult>

获取缓存结果

如果发现过期条目，会立即删除（H36）。

pub async fn put(&self, key: String, result: LLMResult)

存入缓存结果

pub async fn clear(&self)

清除缓存

pub async fn len(&self) -> usize

获取缓存大小

pub async fn is_empty(&self) -> bool

缓存是否为空

pub async fn evict_expired(&self) -> usize

移除过期条目

Trait Implementations

impl Default for LLMCache

fn default() -> Self

Returns the “default value” for a type.