Expand description
LLM 调用缓存
提供内存缓存功能,减少重复 LLM 调用。 支持 TTL(过期时间)和最大条目数限制。
Re-exports§
pub use llm_cache::CacheConfig;pub use llm_cache::CachedLLMResult;pub use llm_cache::LLMCache;
Modules§
- llm_
cache - LLM 调用缓存实现
LLM 调用缓存
提供内存缓存功能,减少重复 LLM 调用。 支持 TTL(过期时间)和最大条目数限制。
pub use llm_cache::CacheConfig;pub use llm_cache::CachedLLMResult;pub use llm_cache::LLMCache;