Skip to main content

Crate llmwire

Crate llmwire 

Source
Expand description

llmwire 是一个双向、默认无状态、可嵌入任意 host 的 LLM wire protocol 转换核。

Converter 接收客户端或上游的原始字节,完成分帧、协议解析、IR 转换与目标协议序列化。 核心不负责 HTTP、认证、重试、连接管理或 async runtime。

§快速开始

use llmwire::{converter, resolve, ProtocolId};

let mut converter = converter(
    ProtocolId::Chat,
    ProtocolId::Messages,
    resolve(ProtocolId::Chat, ProtocolId::Messages, "claude-model"),
)?;

let client_request = br#"{
    "model": "claude-model",
    "messages": [{"role": "user", "content": "hello"}],
    "max_completion_tokens": 32
}"#;

let mut upstream_request = Vec::new();
converter.request(client_request, &mut upstream_request)?;

// Host 将 upstream_request 发给 Messages 后端,再把响应体交给 response。
// let backend_response = host::post(&upstream_request)?;
// let mut client_response = Vec::new();
// converter.response(&backend_response, &mut client_response)?;

非流式调用顺序为 request、response、take_report。流式调用顺序为 request、重复 feed、finish、take_report。

完整的接入说明、限制与示例见仓库根目录的 README.md。

Re-exports§

pub use caps::resolve;
pub use caps::Capabilities;
pub use caps::Mode;
pub use caps::ParamSet;
pub use caps::ThinkingPolicy;
pub use caps::ToolIdPolicy;
pub use converter::converter;
pub use converter::Converter;
pub use error::Error;
pub use host::Host;
pub use host::ModelProfile;
pub use host::StaticHost;
pub use host::UnknownModelPolicy;
pub use ids::OpaqueKind;
pub use ids::ProtocolId;
pub use ir::Termination;
pub use report::Report;
pub use report::Severity;
pub use report::Unmapped;
pub use report::UnmappedReason;
pub use report::Warning;

Modules§

caps
路由能力与参数策略。
codec
协议 codec 与字节级协议接口。
converter
请求级转换门面。
error
转换核公开错误。
framing
传输帧的字节级分帧接口。
host
Host 侧模型与能力配置端口。
ids
协议与不透明内容标识。
ir
协议无关的中间表示。
report
转换质量报告。