Expand description
llmwire 是一个双向、默认无状态、可嵌入任意 host 的 LLM wire protocol 转换核。
Converter 接收客户端或上游的原始字节,完成分帧、协议解析、IR 转换与目标协议序列化。
核心不负责 HTTP、认证、重试、连接管理或 async runtime。
§快速开始
use llmwire::{converter, resolve, ProtocolId};
let mut converter = converter(
ProtocolId::Chat,
ProtocolId::Messages,
resolve(ProtocolId::Chat, ProtocolId::Messages, "claude-model"),
)?;
let client_request = br#"{
"model": "claude-model",
"messages": [{"role": "user", "content": "hello"}],
"max_completion_tokens": 32
}"#;
let mut upstream_request = Vec::new();
converter.request(client_request, &mut upstream_request)?;
// Host 将 upstream_request 发给 Messages 后端,再把响应体交给 response。
// let backend_response = host::post(&upstream_request)?;
// let mut client_response = Vec::new();
// converter.response(&backend_response, &mut client_response)?;非流式调用顺序为 request、response、take_report。流式调用顺序为
request、重复 feed、finish、take_report。
完整的接入说明、限制与示例见仓库根目录的 README.md。
Re-exports§
pub use caps::resolve;pub use caps::Capabilities;pub use caps::Mode;pub use caps::ParamSet;pub use caps::ThinkingPolicy;pub use caps::ToolIdPolicy;pub use converter::converter;pub use converter::Converter;pub use error::Error;pub use host::Host;pub use host::ModelProfile;pub use host::StaticHost;pub use host::UnknownModelPolicy;pub use ids::OpaqueKind;pub use ids::ProtocolId;pub use ir::Termination;pub use report::Report;pub use report::Severity;pub use report::Unmapped;pub use report::UnmappedReason;pub use report::Warning;