返回 AI Pulse
TAG COLLECTION

推理加速

所有带有「推理加速」标签的 AI 情报。

2 条情报
X.com10/15 16:02基础设施

Perplexity Computer 上线 OpenAI 模型超快推理

Perplexity Computer 现支持 OpenAI 前沿模型的超快速推理,官方称速度极快,同时提醒用户注意积分消耗。

X.com09/27 22:02基础设施

Modal分享AI-SQL加速实践:推理速度超vLLM十倍

Modal博客发布Charles与Shreya的撰文,介绍加速AI-SQL查询的工作:为何需要AI-SQL与高吞吐推理,如何做到比vLLM快10倍以上,以及推理工程的未来方向。