一个面向全模态模型的高效推理框架。

FlashInfer：大语言模型服务的核心计算库

面向苹果芯片的端侧语音人工智能

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

为创作者和开发者打造的Gradio WebUI，具备核心TTS功能（Edge-TTS、kokoro）和零样本声音克隆（E2与F5-TTS、CosyVoice），并集成Whisper音频处理、YouTube下载、Demucs人声分离和多语言翻译。

通过最快的KV缓存层为您的LLM加速

Silero模型：提供预训练语音转文本、文本转语音和文本增强模型，极致简化实现

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

面向大语言模型的高吞吐量与内存优化型推理服务引擎

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

纳米级vLLM推理引擎

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

OpenVINO™是用于优化和部署AI推理的开源工具套件

SeaTunnel是多模态、高性能、分布式海量数据集成工具

面向Transformer模型的快速推理引擎

VoxCPM：面向上下文感知语音生成与逼真音色克隆的无分词器文本转语音系统

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

按模型组织的尖端深度学习脚本——易于在企业级基础设施上进行训练和部署，并具备可复现的准确性与性能。

麻省理工学院6.S191课程实验材料：深度学习导论

一个基于MLIR的可重定向机器学习编译器与运行时工具包。