Expand description
LLM 调用缓存实现
基于内存的 LRU 缓存，缓存重复的 LLM 调用结果。 支持可选的 TTL 过期和最大条目限制。
Structs§
- Cache
Config - 缓存配置
- CachedLLM
Result - 缓存的 LLM 结果，包含过期时间
- LLMCache
- LLM 调用缓存
Enums§
- Cache
Error - Error type for the LLM cache.
LLM 调用缓存实现
基于内存的 LRU 缓存，缓存重复的 LLM 调用结果。 支持可选的 TTL 过期和最大条目限制。