LLM推理

vLLM 登上 GitHub Trending

vLLM 是一个高吞吐、内存高效的大语言模型推理与服务引擎，由 vllm-project 维护，近日登上 GitHub Trending。