llama

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

一种模型驱动的方法，仅需几行代码即可构建 AI 智能体。

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

轻量级下一代数据浏览器——支持Postgres、MySQL、SQLite、MongoDB、Redis、MariaDB、Elastic Search和Clickhouse，并带有聊天界面。

Koog是官方Kotlin框架，用于在所有平台上构建和运行稳健、可扩展且满足生产就绪要求的AI智能体——从后端服务到Android与iOS、JVM乃至浏览器环境均可部署。该框架基于我们在AI产品领域的专业经验，针对复杂的LLM与人工智能问题提供了经过实践验证的解决方案。

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

顶尖自然语言处理技术

仅需Python基础，从零构建大语言模型；逐步实现GLM4/Llama3/RWKV6，深入理解大模型原理

具备容错能力、高度可扩展的GPU编排系统，以及专为训练数十亿至数万亿参数模型设计的机器学习框架

面向Claude Code的多触手协调器——整合Codex CLI与Gemini CLI，通过智能上下文路由实现并行任务执行

专为语言学习打造的媒体播放器，具备双语字幕、AI生成字幕、实时翻译等功能！

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

将您的PC、Mac或Linux设备转变为AI服务器，支持大语言模型推理、聊天界面、语音、智能体、工作流、RAG及图像生成。

Eagle：采用数据驱动策略的前沿视觉语言模型

AI原生搜索数据库。在单一引擎中统一向量、文本、结构化和半结构化数据，实现混合搜索与库内AI工作流。

将您的PC、Mac或Linux设备转变为AI服务器，支持LLM推理、聊天界面、语音、智能体、工作流、RAG及图像生成。

随处可用的本地AI，人人皆可——涵盖LLM推理、聊天界面、语音、智能体、工作流、RAG及图像生成。无需云端，无需订阅。

动手学Ollama，在CPU上玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

为 Laravel 中操作大语言模型提供统一接口

一款 100% 离线、完全便携、零痕迹的 AI（Ollama + Llama 3 + AnythingLLM），可在 Windows 和 Mac 上从 USB 驱动器原生运行。