面向大语言模型的高吞吐量与内存优化型推理服务引擎

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

用单个文件分发和运行大语言模型。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

一款轻量级、极速的进程内向量数据库

OpenAI Whisper模型的C/C++移植版本

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

RAGFlow 是领先的开源检索增强生成引擎，融合尖端 RAG 与智能体能力，为大型语言模型构建卓越的上下文层

Milvus是专为可扩展向量近似最近邻搜索打造的高性能云原生向量数据库

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

The Memory Layer for AI Agents - Drop-in memory infrastructure for AI agents and apps. Context that persists. Built for production.

通用型AI，专为知识工作者——创作者、策略师与运营者——以及希望拥有真正可控AI系统以协助完成工作、并能灵活扩展部署至任意环境（VPC、本地或云端）的个人而设计。

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

🦜🔗 构建情境感知推理应用程序 🦜🔗

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

🔥 MaxKB is an open-source platform for building enterprise-grade agents. 强大易用的开源企业级智能体平台。

LlamaIndex 是领先的文档智能体与 OCR 平台。