一个面向全模态模型的高效推理框架。

基于 Apple MLX 框架构建的文本转语音 (TTS)、语音转文本 (STT) 和语音转语音 (STS) 库，可在 Apple Silicon 上提供高效的语音分析。

为创作者和开发者打造的Gradio WebUI，具备核心TTS功能（Edge-TTS、kokoro）和零样本声音克隆（E2与F5-TTS、CosyVoice），并集成Whisper音频处理、YouTube下载、Demucs人声分离和多语言翻译。

YuE2：具有象征性规划、零镜头翻唱和代理音乐编辑的前沿音乐生成。

通过最快的KV缓存层为您的LLM加速

面向苹果芯片的端侧语音人工智能

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

纳米级vLLM推理引擎

FlashInfer：大语言模型服务的核心计算库

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

开源 SenseVoiceSmall 模型，适用于普通话、粤语、英语、日语和韩语 ASR、语言 ID、情绪识别和音频事件检测。

Silero模型：提供预训练语音转文本、文本转语音和文本增强模型，极致简化实现

OpenVINO™是用于优化和部署AI推理的开源工具套件

SeaTunnel是多模态、高性能、分布式海量数据集成工具

面向大语言模型的高吞吐量与内存优化型推理服务引擎

按模型组织的尖端深度学习脚本——易于在企业级基础设施上进行训练和部署，并具备可复现的准确性与性能。

麻省理工学院6.S191课程实验材料：深度学习导论

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。