Ling-3.1-flashをオープンソース化、1Mコンテキスト
AntLingAGIがLing-3.1-flashをオープンソース化。総パラメータ約5600億、トークンあたり活性約250億、コンテキスト最大100万。粗略な要件をUIやプロトタイプへ変換可能。
長文脈
「長文脈」タグが付いたAI Pulseの更新一覧です。
3 件のシグナル長文脈LMは矛盾発見で苦戦
sewon__minは、長文脈LMはRULER系は得意だが、コーパス内の矛盾を全て見つける処理は規模拡大で性能低下し、ドメイン内微調整でも難しいと指摘。
MiMo-V3、HySparse2で長文脈を高速化
投稿はMiMo-V3の新アーキテクチャ核心HySparse2を公開し、MiMo-V2.6 Hybrid SWAより1Mトークンでprefill FLOPsを5.02倍削減、KVキャッシュを小さくし長文脈検索を改善すると伝えた。