# 性能とメモリ
高速化では判定契約を維持します。ベンチマークはローカル診断であり、他製品や別のハードウェア
に対する性能主張ではありません。
## メモリ特性
| JSONLパーサー | 再利用する1行分のバッファと、現在のデシリアライズ済みレコード |
| `winrate` / `elo`(非ペア・非クラスタ) | 勝敗カウンタ。IDがある場合、ID品質診断用のID別件数も保持 |
| `sign-test`(非ペア) | カウンタと、重複検証用のID集合 |
| 数値ブートストラップ指標 | 使用する差分全件とブートストラップ標本 |
| `--paired-by-id` / `--cluster-by-id` | ペア化または再標本化が終わるまでのID別グループ |
| `wald` / `trinomial` SPRT(非ペア) | 全入力用と判定時点用のカウンタ。IDがある場合、品質診断用のID別件数も保持 |
| `wald` / `trinomial` SPRT(ペア) | ID別グループと、検証・順序再生用の完成ペア列 |
| `pentanomial` SPRT | IDペアと完成ペアのバケット |
SPRTが境界を越えた後も、CLIは入力末尾まで解析・検証します。最初の境界到達時点で判定用
カウンタを固定し、全入力の集計とステータス検証は継続します。
## ベンチマーク条件
```bash
cargo bench --bench io_sprt -- --noplot
```
入力はベンチマーク内で生成します。`jsonl_parse/100k_records` は、一意なIDを持ち、
`candidate_win`、`baseline_win`、`draw` を順に繰り返す100,000件を解析します。
`sprt_unpaired_wald/100k_records` は、IDなしの均衡した100,000件を `elo0=-10`、`elo1=10`、
`alpha=beta=0.05` で処理します。早期停止を避け、全件処理を測る入力です。乱数は使わないため、
シードは該当しません。Criterionの設定は20標本、ウォームアップ1秒、測定目標5秒です。
ペア平均のブートストラップ全体と処理別の測定には、次のコマンドを使います。
```bash
cargo bench --bench metrics -- 'mean-diff (N=2000, resamples=10000)' --exact --quick
cargo bench --bench metrics -- 'mean-diff bootstrap components' --quick
```
処理別ベンチマークでは、乱数によるインデックス生成、実装と同じ補償平均、標本分布の並べ替えと
区間端点の選択を個別に測ります。本番処理は再標本化と平均計算を交互に行うため、キャッシュの挙動が
異なります。
個別の時間を足しても全体時間にはなりません。
## 実測基準値
### JSONLとSPRT(2026-10-13)
- ソース: commit `027431a` を基点とする作業ツリーで測定し、変更は `0.19.5` でリリース。
- ハードウェア: Apple M4、メモリ16 GiB。
- 環境: arm64 macOS(Darwin 27.0.0)、Rust 1.97.0。
- コマンド: `cargo bench --bench io_sprt -- --noplot`。
| JSONL解析、100k | 41.895–69.475 ms | 24.162–24.753 ms | 23.593–23.811 ms |
| 非ペアWald SPRT、100k | 12.664–20.397 ms | 7.765–7.916 ms | 8.576–8.843 ms |
変更前のばらつきは大きく、改善後のSPRTにも測定ごとの差があります。改善後の2回はいずれも
変更前区間を下回りましたが、単一の普遍的な高速化倍率を示す結果ではありません。容量計画に
使う場合は、実際の実行環境で再測定してください。
### ブートストラップ(2026-10-14)
- ハードウェア: Apple M4、メモリ16 GiB。
- 環境: arm64 macOS(Darwin 27.0.1)、Rust 1.97.0。
- 条件: ペア平均差、2,000件、再標本化10,000回、シード `0x5EED`。
| 指標計算全体 | 66.468–66.609 ms |
| 再標本化インデックス、2,000万回 | 59.980–59.985 ms |
| 補償平均、2,000件を10,000回 | 16.242–16.894 ms |
| 10,000標本の並べ替えと区間端点選択 | 78.457–79.837 µs |
本番ループを別に10秒間測定したところ、7,652件のCPUプロファイルサンプルのうち5,450(71.2%)が乱数範囲と
ChaChaの生成処理でした。残り2,202(28.8%)には補償集計と最後の並べ替えが含まれます。
個別の並べ替え測定と合わせると、この条件では再標本化が主な負荷で、区間端点の選択負荷は小さいと
分かります。ただし、固定シードの出力維持と変更後の実測なしに、乱数生成器の変更や並列化を
正当化する結果ではありません。