推理服务器

Agent 流量让推理服务器面临重复前缀压力

Rohan Paul 指出 Agent 每轮重复发送近乎相同的长前缀并只要简短工具调用；相关议题在 DigitalOcean Open Intelligence Summit 的 Serve 环节由 Inferact 的 Yifan Qiao 分享。