rpi-server
TCP JSONL server for rpi with streaming subscriptions — 基于 Transport trait 抽象,支持多种传输协议。
特性
- ✅ TCP JSONL 协议 — 简单、高效、易于调试
- ✅ Transport trait 抽象 — 可扩展 WebSocket/Unix Socket 等传输方式
- ✅ 流式订阅 — 通过
subscribe方法订阅实时事件流 - ✅ 会话管理 — 支持多个 rpi 会话并行
- ✅ 连接管理 — 内置重试、心跳、延迟检测、在线状态追踪
- ✅ 标准化 — JSON-RPC 2.0 消息格式,跨语言兼容
使用方式
通过 rpi CLI 启动(推荐)
# 启动 rpi 并自动启动 TCP 服务器(默认 127.0.0.1:9800)
# 指定端口
# 指定绑定地址
rpi-server 作为扩展加载,检测到 --server flag 后自动启动 TCP 服务器。
在 rpi 会话中管理
// 启动服务器
// 响应
// 查看状态
// 列出所有服务器
// 停止服务器
RPC 消息更新模式
新版 native rpi --mode rpc 默认使用 compact-deltas:文本、思考和工具参数
的高频 delta 不再携带两份累计消息快照;结构事件和最终 message_end 仍然完整。
原始 TCP 事件按子进程输出透传,不由 rpi-server 重新补入快照。
rpc_server 的启动参数可以显式选择模式:
迁移期需兼容尚未升级的消费者时,显式使用 "rpcMessageUpdates":"snapshot"。
仅接受这两个值,其他值(包括 null)报错。省略参数时不添加新 CLI flag,使用
所选 native executable 自身的默认值,因此仍可启动不认识此参数的旧 CLI。
这是服务器启动配置,不是 start_session 的逐会话选项。
客户端应检查 ready.semantics.messageUpdates;字段缺失表示旧 snapshot 模式。
推荐先升级支持两种模式的客户端及 Web/ACP 适配器,再升级 native CLI。
若升级 native CLI 而不升级旧远程 TUI,其依赖累计 message 的流式显示可能停止。
旧模式仅作为临时回退,后续计划移除;新集成应直接消费 delta,并在完整边界消息
到达时校准状态。compact 不代表整个事件流完全无快照、严格线性或可无损重放。
工具契约、默认值与安全边界
工具名仍为 rpc_server / rpc_client,使用 TCP JSONL,不是 HTTP 服务。
实际注册的 description/schema 与下列说明保持一致;不新增 prompt API 或 hook。
rpc_server.action可省略,默认start。stop/status必须给非空id;list不需要参数。只有start读取监听、令牌与子进程启动字段。 未把所有字段设为 required,也未关闭顶层额外属性,兼容宿主注入的可选__rpi。start默认监听127.0.0.1:9800,创建注册项和后台运行时,不立即启动子进程。port范围为 0..65535;现有实现虽然允许 0,但返回/存储地址仍为:0, 不能据此发现实际端口供rpc_client使用。建议选择已知可用端口。- 默认生成令牌;
token非空时使用指定值,空串/省略则生成。 实际支持的noToken:true会覆盖token并完全禁用认证,默认 false。 start/status/list/server_status 返回值和服务日志包含明文令牌,勿复制到公开回复、 工单、仓库或不可信日志中;事件/响应也可能包含敏感内容。生成器输出 32 位十六进制, 此处不承诺其密码学强度。TCP 无 TLS;令牌认证不提供加密。0.0.0.0会暴露所有 IPv4 接口;只使用回环或受保护的可信网络,禁认证时尤其如此。 start_session才启动当前可执行文件,固定前缀--mode rpc,使用监听启动时保存的参数。 不经 shell 拼接,但工具、扩展、资源与子进程仍有宿主权限;不是沙箱。 未传的选项由子进程 CLI/配置决定,并不保证继承当前父会话选择。baseUrl是模型提供商端点,不是监听地址;只配置可信端点。- 字符串启动选项非空白时才转发;省略/null 不发对应 flag。
provider/model/baseUrl/systemPrompt/thinking/name/session/sessionId/sessionDir对应--provider/--model/--base-url/--system-prompt/--thinking/--name/--session/--session-id/--session-dir。 参数值按原样交给原生 CLI,可能出现在进程列表中,不要放密钥。 - 数组省略视为
[],null 非法,最多 128 个非空字符串。tools/excludeTools非空时以逗号合并为--tools/--exclude-tools;appendSystemPrompt/extensionsDir/extension/skill/promptTemplate各元素重复传--append-system-prompt/--extensions-dir/--extension/--skill/--prompt-template。 本包不校验资源内容或处理发现/优先级冲突,只加载可信资源。 - 开关
noSession/noTools/noBuiltinTools/noSkills/noPromptTemplates/noContextFiles/noExtensions/enablePiPackages/offline/headless省略/null/false 不发 flag,true 传对应 kebab-case flag;默认不启用这些开关, 不代表对原生 CLI 默认加载行为作额外保证。offline不是防火墙,也不关闭 TCP。approve是例外:省略不发任何 flag(沿用子 CLI/配置默认),true 传--approve, false 传--no-approve,null 非法。自动批准可能放行文件修改/命令执行,请明确评估。 session与sessionId只要键存在就互斥;noSession:true与任一键存在冲突, 即使其值为 null。这些原生持久会话选项不同于服务生成的实时session-N句柄。rpc_client必填非空serverId和method;serverId必须来自当前扩展的运行中注册项, 不是远程 URL/地址。每次调用新建连接并自动使用保存的令牌认证,不要手动把 token 填入 params。params默认{},各方法条件见下表;任意未知方法会返回 JSON-RPC 错误。subscribe:false默认返回{serverId,method,result:<完整 JSON-RPC 响应>}; 工具成功不代表远端成功,须检查result.error。send的 sent 仅表示写入 stdin,非任务完成。subscribe:true只是本地接收模式,应配合method:"subscribe"和params.sessionId; 返回{serverId,method,events,eventCount},包含订阅确认和原始通知,不是增量工具输出, 没有历史回放。广播缓冲为 256 条,落后可能收到lagged。timeoutSeconds省略/null 为 30,范围 1..300。外层等待包含连接/重试/认证, 内层发送后另计接收期限,认证最多等 5 秒;因此不能保证一定拿到部分收集结果。 事件收集仅限时、无条数/字节上限。客户端仅识别顶层session_end, 当前服务的结束事件封装于params.event,不保证因此提前退出或结果完整。- 客户端超时/取消不保证后台 worker 立即退出,也不取消/回滚远端命令或结束子进程。
不要盲目重试
start_session/send等有副作用的方法。 创建者负责stop_session或rpc_server stop;宿主 SessionShutdown 也会尝试停止所有注册服务。stop先移除注册项,再通知 accept 循环退出、kill/wait 已跟踪子进程; 不保证已有连接、监听资源或后台运行时线程全部释放。 启动/停止等待上限为 10/5 秒;超时或取消不回滚已产生的副作用,需检查实际资源状态。
客户端连接
方式一:使用 nc 测试
# 连接服务器
# 默认开启认证:先使用 start 返回的 token(此处仅占位,不要公开真实令牌)
}}
# 发送启动会话请求(每行一个 JSON)
}}
# 收到响应
}}}
# 发送命令
}}}
# 订阅事件流
}}
# 收到事件推送
}}}
方式二:使用 rpi 的 rpc_client 工具
// 启动会话
// 发送命令
// 订阅事件流
方式三:使用 ManagedConnection(Rust 代码)
use Arc;
use ;
use json;
async
可用方法
| 方法 | 参数 / 说明 |
|---|---|
start_session |
忽略 params;使用服务保存的启动参数启动新子进程,返回实时 sessionId |
send |
必须 sessionId、command;将原生 JSON 命令写到该子进程 stdin;sent 不表示执行完成 |
stop_session |
必须 sessionId;从会话表移除并 kill/wait 子进程 |
list_sessions |
忽略 params;列出会话快照,不是历史记录 |
server_status |
忽略 params;服务状态,包含明文 token,必须保密 |
subscribe |
必须有效 sessionId;订阅当前连接上的后续事件,工具收集还需 subscribe:true |
ping |
忽略 params;返回 pong,不保证模型或子进程健康 |
Schema 回归检查
src/lib.rs 的 tool_schemas() 同时供插件实际注册和 Rust 单元测试使用,不维护测试专用 schema。
测试覆盖实际 description/JSON、每个字段说明、默认值、条件必填、可选 __rpi 顶层兼容、
令牌/approve/会话冲突、方法参数与结果/超时边界。无网络监听或子进程启动副作用。
运行实际注册 schema 的 Rust 回归测试(无需网络监听):
如需只检查 Rust 测试编译而不执行,可用 cargo check -p rpi-server --tests(需要工作区依赖可用)。
协议格式
每行一个 JSON,以 \n 结尾:
请求: {"jsonrpc":"2.0","id":1,"method":"start_session","params":{}}\n
响应: {"jsonrpc":"2.0","id":1,"result":{...}}\n
事件: {"jsonrpc":"2.0","method":"event","params":{"subscriptionId":1,"event":{...}}}\n
架构
Transport trait (抽象层)
↓
TcpTransport (已实现) / WebSocketTransport (未来)
↓
ManagedConnection (连接管理)
- 自动重试 (10次)
- 心跳检测 (30s)
- 延迟测量
- 在线状态
↓
AppState + Sessions (业务逻辑)
Transport trait 扩展
要添加新的传输协议(如 WebSocket),只需实现 Transport 和 Connection trait:
use async_trait;
use ;
然后在 run_server 中使用:
let transport = new;
run_server.await?;
连接管理
ManagedConnection 提供以下功能:
自动重试
// 连接失败时自动重试,最多 10 次,间隔递增
conn.connect_with_retry.await?;
心跳检测
// 启动心跳任务(30s 间隔)
let conn_clone = conn.clone;
spawn;
状态追踪
let status = conn.status.await;
println!;
println!;
println!;
println!;
性能
- TCP JSONL 比 WebSocket 少一层协议开销,但需要自己处理消息边界(
\n) - broadcast channel 支持多个订阅者同时接收事件
- 异步 I/O — 基于 tokio,高并发性能优秀
- 零拷贝 — 消息直接序列化到 TCP 流,无中间缓冲
与 WebSocket 对比
| 特性 | TCP JSONL | WebSocket |
|---|---|---|
| 协议开销 | 低(仅 \n 分隔) |
中(帧协议) |
| 浏览器支持 | ❌ 需要代理 | ✅ 原生支持 |
| 调试难度 | 低(nc/telnet) | 中(需要工具) |
| 心跳检测 | 应用层实现 | 协议自带 |
| 适用场景 | 服务间通信 | Web 客户端 |
License
MIT