distributed-inference

FlashInfer：大语言模型服务的核心计算库

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。