使用 C/C++ 实现的大语言模型推理框架

OpenAI Whisper模型的C/C++移植版本

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

纯C/C++实现的扩散模型（SD/Flux/Wan等）推理框架

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

LightRAG：简单快速的检索增强生成框架

一个使用大语言模型从非结构化文本中提取结构化信息的Python库，具备精确的源数据溯源和交互式可视化功能。

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

《深入理解AI Agent：设计原理与工程实践》（李博杰着）开源主仓库：全书正文、编译版PDF与按章安装代码

O'Reilly书籍《动手玩转大语言模型》官方代码库

轻松将文档转换为结构化数据。Unstructured是开源的ETL解决方案，可将复杂文档转换为适合语言模型的整洁结构化格式。访问我们的网站了解企业级平台产品，支持生产级工作流、分区、增强、分块和嵌入。

一种训练大语言模型的直接方法，涵盖从数据下载到文本生成的完整流程。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

本仓库提供从基础到高级的各类生成式AI智能体技术教程与实现，是构建智能交互式AI系统的综合指南

本仓库展示检索增强生成系统的多种先进技术，该系统通过结合信息检索与生成模型来提供精准且上下文丰富的响应

Tesseract开源OCR引擎（主代码库）

关于大语言模型、检索增强生成及现实世界AI智能体应用的深度教程。

💡 用于语义搜索、LLM 编排和语言模型工作流程的一体化人工智能框架

从一个 YAML 微调 LLM。层流在 4 GB 笔记本电脑 GPU 上训练 8B 模型。

Google Cloud生成式AI示例代码与笔记本，含Vertex AI平台的Gemini模型应用。