MiMo-V3 新架构 HySparse2 降低预填充与 KV 缓存
作者称 MiMo-V3 将采用新架构,核心 HySparse2 今日发布;相对 MiMo-V2.6 Hybrid SWA,1M token 预填充 FLOPs 降 5.02 倍,KV 缓存更小并提升长上下文检索。
所有带有「HySparse2」标签的 AI 情报。
1 条情报作者称 MiMo-V3 将采用新架构,核心 HySparse2 今日发布;相对 MiMo-V2.6 Hybrid SWA,1M token 预填充 FLOPs 降 5.02 倍,KV 缓存更小并提升长上下文检索。