Struct EvalRunner 

pub struct EvalRunner { /* private fields */ }

批量运行器:同时收纳单点与成对评测器。

Implementations

impl EvalRunner

pub fn new(evaluators: Vec<Box<dyn Evaluator>>) -> Self

pub fn with_pairwise(self, pairwise: Vec<Box<dyn PairwiseEvaluator>>) -> Self

追加成对评测器(P1-1,竞技场评测进统一报告)。

pub async fn run( &self, dataset: &Dataset, predictor: &dyn Predictor, ) -> Result<Report, EvalError>

在数据集上运行所有评测器,返回报告。

P1-3: 逐条容错——单条 predict 失败记 "predict" 失败记录并跳过该条; 某评测器打分失败只记该评测器的失败记录,其它评测器照常出分。 P1-1: 成对评测器同样参与,以 (prediction, reference) 作为 A/B 两个候选 (竞技场用法:把待比答案放进 reference 槽)。