評価用の意思決定モデルは信頼できるか実検証
研究者とHamel Husain氏がJev、d1-ultra、clefなどの意思決定モデルを独自データセットで検証。失敗検出、確率校正、閾値最適化を評価した。
評価
「評価」タグが付いたAI Pulseの更新一覧です。
4 件のシグナル長文脈LMは矛盾発見で苦戦
sewon__minは、長文脈LMはRULER系は得意だが、コーパス内の矛盾を全て見つける処理は規模拡大で性能低下し、ドメイン内微調整でも難しいと指摘。
合成データ生成は要求定義から組み合わせへ
Hamel Husain流の合成データ生成：テストしたい要求種別を定義し、詳細の組み合わせを作ってクエリ化し、アプリで実行する。
LangSmithがAgentの品質・コスト・処理量を評価
@Clayは各エージェントを品質・スループット・コストの3点で評価。LangChainの@jeffbargがLangSmithの評価方法と、品質をコスト・スループットと比較するベンチマークを解説。