vLLMがGitHub Trendingに登場
vLLMは大規模言語モデル向けの高スループットかつメモリ効率の高い推論・サービングエンジン。vllm-projectが開発し、GitHub Trendingに登場した。
LLM推論
「LLM推論」タグが付いたAI Pulseの更新一覧です。
1 件のシグナル「LLM推論」タグが付いたAI Pulseの更新一覧です。
1 件のシグナルvLLMは大規模言語モデル向けの高スループットかつメモリ効率の高い推論・サービングエンジン。vllm-projectが開発し、GitHub Trendingに登場した。