TokenSpeed

TokenSpeedがGitHubトレンド入り、光速級LLM推論エンジン

TokenSpeedは「光速級」のLLM推論エンジン。Python製で、現在GitHubトレンドに登場している。