Struct PairwiseJudge 

pub struct PairwiseJudge<M: BaseChatModel> { /* private fields */ }

成对比较评测器(用 LLM 当裁判,二选一)。

注意:成对比较接口与单点 Evaluator 不同(需要两个预测),故不实现 Evaluator trait, 通过 compare 方法调用。

Implementations

impl<M: BaseChatModel> PairwiseJudge<M>

pub fn new(judge: M) -> Self

pub fn with_rubric(self, rubric: impl Into<String>) -> Self

pub async fn compare( &self, input: &str, a: &str, b: &str, ) -> Result<Verdict, EvalError>

比较 A、B 两个回答,返回谁更好。

交换 A/B 顺序跑两次,消除位置偏差:两次都选同一个才算真赢,否则判平局。