InferenceOS：基于llama.cpp的自适应AI推理运行时
InferenceOS是基于llama.cpp构建的自适应AI推理运行时，具备智能调度、自优化执行、运行时学习和高级内存管理能力。
llama.cpp
所有带有「llama.cpp」标签的 AI 情报。
3 条情报RuntimeDeck 登上 GitHub Trending：本地优先多 GPU AI 运行时面板
RuntimeDeck 是本地优先的 AI 运行时仪表盘与显式进程控制面，面向多 GPU 工作站，支持 llama.cpp 和 ComfyUI 的进程管理。
fruth 登上 GitHub Trending
fruth 是面向本地 AI 的持久语义状态推断引擎，连接意图、工作、依赖与产物，并以运行时证据作为完成门槛；适配 Ollama、MLX 和 llama.cpp。