Taskade、AIタスク評価「TSK-Bench」を公開
TaskadeがAIタスク排行榜TSK-Benchを公開。トップAIをアプリ構築・エージェント連携・自動化で評価。実行のたびにTSK-1が改善され、BYOK対応も予定。
ベンチマーク
「ベンチマーク」タグが付いたAI Pulseの更新一覧です。
7 件のシグナルAlphaSense：金融研究のボトルネックはモデルからコンテキストへ
AlphaSenseの継続的なベンチマークでGPT-5.6 Solが首位、Opus 5は前代より低性能でコストは5倍。金融・ビジネス研究ではモデルよりコンテキストが重要になった。
Gemini 4はOpus 5.5級と競合、期待を裏切るとユーザー
あるユーザーは、Gemini 4がベンチマーク対策だけの「つまらないモデル」だと予想していたが、実際は6.1 solやOpus 5.5など現行フロンティアモデルと競合し、Googleの努力を称賛した。
Theo が Terminal Bench 4 を自前検証、コスパは Opus 超えと主張
Theo は、動画制作時にベンチマークがなかったため Terminal Bench 4 を自ら計測し、性能は Opus 5.5 より高く価格は約 1/30 と語った。
timm がマルチラベル分類に対応
Ross Wightman 氏は、timm がマルチラベル分類に対応したと発表。昨年末の Task リファクタリング由来の実装を磨き上げたもので、ベンチマークとして依然有用。
fchollet、ARC-AGI-(n+1)のメタ基準を提示
François Cholletは、人間並みの汎用性を測る考え方として、ARC-AGI-(n+1)公開直後にすぐ合格できるかをメタ基準にすることを示しました。
StanfordがAI哲学評価のPhilosophyBench発表
Sebastian ThrunがStanford AI Lab/HCIのPhilosophyBenchを紹介。AIの哲学的能力を測る独立大規模ベンチマークとする。