# 测试与验收
## 离线客户端回归
```sh
cargo fmt --check
cargo test --locked --offline
cargo clippy --locked --offline --all-targets -- -D warnings
```
依赖需预先缓存;测试不访问云端模型,不使用真实密钥,不执行模型建议的命令。测试以真实 CLI 子进程为入口,通过本机随机端口提供固定 HTTP 响应;配置场景隔离 HOME、XDG 和工作目录,子进程清空环境,避免读取个人设置。macOS/Linux 的颜色场景还使用真实伪终端,需要允许本机监听与 PTY。
| `tests/cli.rs` | 查询/附带问题、帮助、语言/平台、stdin EOF 和 64 KiB 边界、错误与退出码 |
| `tests/config.rs` | 初始化权限、保留已有文件、逐字段覆盖、切换工作目录、双协议组合及重定向 |
| `tests/streaming.rs` | 服务等首行后才继续的握手、逐字节/Unicode 拆片、截断、断流和下游关闭 |
| `tests/anthropic.rs` | 原生认证、请求字段、多内容块、忽略非正文与完整结束校验 |
| `tests/compatibility.rs` | 明确 stream 拒绝后的一次回退、完整 JSON 复用、禁止普通错误或部分输出后重试 |
| `tests/rendering.rs` | PTY/NO_COLOR、语义样式与复位、围栏、占位符、窄终端与按宽度折行、终端编号、单次格式提醒、整行与行内逐字展示 |
| `tests/thinking.rs` | 显式推理配置、环境优先级、默认省略和协议隔离 |
| `tests/trace.rs` | 默认关闭、计时顺序、隐私、回退/失败与命令候选标记 |
| `tests/tldr.rs` | 本地直出、别名、跨平台提示、拼写纠正、危险命令标注、参考选择、环境字段与 `--update-pages` |
| `tests/polish.rs` | `--version`、`--opt=值`/`-Lzh`、首次使用引导、连接与代理错误提示、`Accept-Encoding: identity`、stdin 与 PTY 等待提示、来源标识、tldr 助记符/注意行样式、目标命令选项直通、退出码、短帮助与英文帮助 |
流式握手证明首行可在回答结束前显示;SGR 状态和字节断言验证样式与复制文本。测试通过不证明固定回答中的命令适用真实系统,也不证明任何云端服务的速度或质量。
## 模型质量与延迟验收方法
真实服务验收需另行安排服务、模型、范围和预算。记录被测提交以及未提交差异、源码与二进制哈希、主机、协议、语言、目标平台和网络环境,避免只记录 HEAD 而遗漏工作区状态。记录中不含认证头或密钥。
覆盖普通命令、具体参数/附带问题、自然语言任务、有限报错输出四类任务,分别检查 OpenAI/Anthropic、英文/简体中文及 Linux/macOS 回答目标。选择回答目标不等于在该主机完成客户端验证。按相应命令手册核对全部回答的语义、参数、解释、相关性、格式、语言/平台和安全性,保留部分满足、错误及待复核状态。
同一单调时钟下分别记录:
- `t0`:首次模型请求开始发送;回退另计请求,整体时间仍从首次开始。
- `t_body`:首个非空答案正文增量,排除角色、心跳、思考和工具数据。
- `t_command`:第一条完整且人工确认可用的命令可读;没有则记 N/A 并说明。
- `t_done`:正常完成信号已校验且尾行已刷新;截断/失败不能填成功时间。
对照首正文、首条正确命令和完整回答的耗时,并同时报告质量、请求次数、失败与缺失时间。不要把只含有限成功样本的 P90 当作全部请求结果;没有命令或未裁决的回答要保留分母及不确定性。
## 已知验证边界
2026-11 在单个 OpenAI 兼容服务上用自建 116 题评测集(四类任务、中英文、两种目标平台)验收了当前架构,人工复核后全部正确,见[性能说明](performance.md)。这只覆盖一个服务和模型,不能判定其他服务或协议的模型质量。
完整跨服务/协议质量矩阵、Linux 主机上的完整客户端与 PTY 验证、真实等待 60 秒截止时间尚未完成。408/504 和传输失败的离线测试不能代替真实截止时间验证。当前支持范围是 macOS/Linux,不承诺 Windows 适配;分发渠道也需独立验收。