vllm

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

通过最快的KV缓存层为您的LLM加速

数据中心级分布式推理服务框架

借助基于最新大语言模型的算子与流水线轻松实现数据准备。

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

面向混合模型的智能路由器。

面向任意AI模型的综合性开源人工智能研究与工程技能库。

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

面向昇腾平台的vLLM社区维护硬件插件

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。