Skip to main content

Module cache

Module cache 

Source
Expand description

LLM 调用缓存

提供内存缓存功能,减少重复 LLM 调用。 支持 TTL(过期时间)和最大条目数限制。

Re-exports§

pub use llm_cache::CacheConfig;
pub use llm_cache::CachedLLMResult;
pub use llm_cache::LLMCache;

Modules§

llm_cache
LLM 调用缓存实现