Struct PairwiseJudge 

pub struct PairwiseJudge<M: BaseChatModel> { /* private fields */ }

成对比较评测器(用 LLM 当裁判,二选一)。

P1-1: 实现 PairwiseEvaluator trait,可与单点 Evaluator 一起进 EvalRunner 统一报告;直接调用仍可走 compare 拿细粒度 Verdict(A 赢 / B 赢 / 平局)。

Implementations

impl<M: BaseChatModel> PairwiseJudge<M>

pub fn new(judge: M) -> Self

创建使用默认评分标准的成对比较评测器。

pub fn with_rubric(self, rubric: impl Into<String>) -> Self

设置自定义评分标准(builder 风格)。

pub async fn compare( &self, input: &str, a: &str, b: &str, ) -> Result<Verdict, EvalError>

比较 A、B 两个回答,返回谁更好。

交换 A/B 顺序跑两次,消除位置偏差:两次都选同一个才算真赢,否则判平局。 P2-4: 两次 ask 相互独立,用 future::join 并发发起(消除 N+1 串行往返)。

Trait Implementations

impl<M: BaseChatModel> PairwiseEvaluator for PairwiseJudge<M>

P1-1: 作为 PairwiseEvaluator 进 EvalRunner,judge 以 (a=prediction, b=reference) 为两个候选。得分映射:1.0 = A 优、 0.5 = 平局、0.0 = B 优,label 保留裁决含义(a_wins / tie / b_wins)。

fn eval_pair<'life0, 'life1, 'life2, 'life3, 'async_trait>( &'life0 self, input: &'life1 str, a: &'life2 str, b: &'life3 str, ) -> Pin<Box<dyn Future<Output = Result<Score, EvalError>> + Send + 'async_trait>>

where Self: 'async_trait, 'life0: 'async_trait, 'life1: 'async_trait, 'life2: 'async_trait, 'life3: 'async_trait,

比较 A、B 两个回答,返回 0-1 得分 (1.0 = A 优,0.5 = 平局,0.0 = B 优)。

fn name(&self) -> &str

评测器名称(用于报告汇总)