TokenGate:选择性略读上下文,prefill 最高提速 11.3 倍
TokenGate 通过让 LLM 有条件地略读上下文 token,实现最高 11.3 倍的 prefill 加速,并大幅降低长上下文任务的峰值显存占用。
所有带有「长上下文」标签的 AI 情报。
5 条情报TokenGate 通过让 LLM 有条件地略读上下文 token,实现最高 11.3 倍的 prefill 加速,并大幅降低长上下文任务的峰值显存占用。
AntLingAGI宣布Ling-3.1-flash开源:总参数约5600亿、每token激活约250亿、上下文最长100万;可将粗略需求转成页面、移动UI或可评审原型。
sewon__min指出,长上下文语言模型擅长RULER类任务,但在“找出语料中所有矛盾”任务上,语料扩大时性能下降,即使领域内微调也难避免。
作者称 MiMo-V3 将采用新架构,核心 HySparse2 今日发布;相对 MiMo-V2.6 Hybrid SWA,1M token 预填充 FLOPs 降 5.02 倍,KV 缓存更小并提升长上下文检索。
AgentPerf将代理AI视为长期工作负载,涉及内存、网络等多个因素。