评测用决策模型可信吗？实测Jev等主流模型
研究者与Hamel Husain在自有数据集上测试Jev、d1-ultra、clef等决策模型，评估失败检测、概率校准与阈值优化的实际权衡。
评测
所有带有「评测」标签的 AI 情报。
2 条情报长上下文LM在语料矛盾检索上表现下滑
sewon__min指出，长上下文语言模型擅长RULER类任务，但在“找出语料中所有矛盾”任务上，语料扩大时性能下降，即使领域内微调也难避免。
所有带有「评测」标签的 AI 情报。
2 条情报研究者与Hamel Husain在自有数据集上测试Jev、d1-ultra、clef等决策模型，评估失败检测、概率校准与阈值优化的实际权衡。
sewon__min指出，长上下文语言模型擅长RULER类任务，但在“找出语料中所有矛盾”任务上，语料扩大时性能下降，即使领域内微调也难避免。