veridict 0.19.7

Statistical regression gate for A/B and hypothesis testing: compare candidate vs baseline results with win-rate, Elo, SPRT, and bootstrap confidence intervals.
Documentation
# 性能とメモリ

[English]performance.md | 日本語

高速化では判定契約を維持します。ベンチマークはローカル診断であり、他製品や別のハードウェア
に対する性能主張ではありません。

## メモリ特性

| 処理 | 保持する状態 |
|---|---|
| JSONLパーサー | 再利用する1行分のバッファと、現在のデシリアライズ済みレコード |
| `winrate` / `elo`(非ペア・非クラスタ) | 勝敗カウンタ。IDがある場合、ID品質診断用のID別件数も保持 |
| `sign-test`(非ペア) | カウンタと、重複検証用のID集合 |
| 数値ブートストラップ指標 | 使用する差分全件とブートストラップ標本 |
| `--paired-by-id` / `--cluster-by-id` | ペア化または再標本化が終わるまでのID別グループ |
| `wald` / `trinomial` SPRT(非ペア) | 全入力用と判定時点用のカウンタ。IDがある場合、品質診断用のID別件数も保持 |
| `wald` / `trinomial` SPRT(ペア) | ID別グループと、検証・順序再生用の完成ペア列 |
| `pentanomial` SPRT | IDペアと完成ペアのバケット |

SPRTが境界を越えた後も、CLIは入力末尾まで解析・検証します。最初の境界到達時点で判定用
カウンタを固定し、全入力の集計とステータス検証は継続します。

## ベンチマーク条件

```bash
cargo bench --bench io_sprt -- --noplot
```

入力はベンチマーク内で生成します。`jsonl_parse/100k_records` は、一意なIDを持ち、
`candidate_win`、`baseline_win`、`draw` を順に繰り返す100,000件を解析します。
`sprt_unpaired_wald/100k_records` は、IDなしの均衡した100,000件を `elo0=-10`、`elo1=10`、
`alpha=beta=0.05` で処理します。早期停止を避け、全件処理を測る入力です。乱数は使わないため、
シードは該当しません。Criterionの設定は20標本、ウォームアップ1秒、測定目標5秒です。

ペア平均のブートストラップ全体と処理別の測定には、次のコマンドを使います。

```bash
cargo bench --bench metrics -- 'mean-diff (N=2000, resamples=10000)' --exact --quick
cargo bench --bench metrics -- 'mean-diff bootstrap components' --quick
```

処理別ベンチマークでは、乱数によるインデックス生成、実装と同じ補償平均、標本分布の並べ替えと
区間端点の選択を個別に測ります。本番処理は再標本化と平均計算を交互に行うため、キャッシュの挙動が
異なります。
個別の時間を足しても全体時間にはなりません。

## 実測基準値

### JSONLとSPRT(2026-10-13)

- ソース: commit `027431a` を基点とする作業ツリーで測定し、変更は `0.19.5` でリリース。
- ハードウェア: Apple M4、メモリ16 GiB。
- 環境: arm64 macOS(Darwin 27.0.0)、Rust 1.97.0。
- コマンド: `cargo bench --bench io_sprt -- --noplot`。

| ベンチマーク | 変更前の95%区間 | 改善後1回目 | 数値ガード追加後の最終測定 |
|---|---:|---:|---:|
| JSONL解析、100k | 41.895–69.475 ms | 24.162–24.753 ms | 23.593–23.811 ms |
| 非ペアWald SPRT、100k | 12.664–20.397 ms | 7.765–7.916 ms | 8.576–8.843 ms |

変更前のばらつきは大きく、改善後のSPRTにも測定ごとの差があります。改善後の2回はいずれも
変更前区間を下回りましたが、単一の普遍的な高速化倍率を示す結果ではありません。容量計画に
使う場合は、実際の実行環境で再測定してください。

### ブートストラップ(2026-10-14)

- ハードウェア: Apple M4、メモリ16 GiB。
- 環境: arm64 macOS(Darwin 27.0.1)、Rust 1.97.0。
- 条件: ペア平均差、2,000件、再標本化10,000回、シード `0x5EED`。

| 測定対象 | quickモードの測定区間 |
|---|---:|
| 指標計算全体 | 66.468–66.609 ms |
| 再標本化インデックス、2,000万回 | 59.980–59.985 ms |
| 補償平均、2,000件を10,000回 | 16.242–16.894 ms |
| 10,000標本の並べ替えと区間端点選択 | 78.457–79.837 µs |

本番ループを別に10秒間測定したところ、7,652件のCPUプロファイルサンプルのうち5,450(71.2%)が乱数範囲と
ChaChaの生成処理でした。残り2,202(28.8%)には補償集計と最後の並べ替えが含まれます。
個別の並べ替え測定と合わせると、この条件では再標本化が主な負荷で、区間端点の選択負荷は小さいと
分かります。ただし、固定シードの出力維持と変更後の実測なしに、乱数生成器の変更や並列化を
正当化する結果ではありません。