返回 AI Pulse
TAG COLLECTION

长上下文

所有带有「长上下文」标签的 AI 情报。

5 条情报
X.com10/24 20:08研究进展

TokenGate:选择性略读上下文,prefill 最高提速 11.3 倍

TokenGate 通过让 LLM 有条件地略读上下文 token,实现最高 11.3 倍的 prefill 加速,并大幅降低长上下文任务的峰值显存占用。

X.com09/29 22:31研究进展

长上下文LM在语料矛盾检索上表现下滑

sewon__min指出,长上下文语言模型擅长RULER类任务,但在“找出语料中所有矛盾”任务上,语料扩大时性能下降,即使领域内微调也难避免。

X.com09/23 20:19模型发布

MiMo-V3 新架构 HySparse2 降低预填充与 KV 缓存

作者称 MiMo-V3 将采用新架构,核心 HySparse2 今日发布;相对 MiMo-V2.6 Hybrid SWA,1M token 预填充 FLOPs 降 5.02 倍,KV 缓存更小并提升长上下文检索。