local-llm

用单个文件分发和运行大语言模型。

从一个 YAML 微调 LLM。层流在 4 GB 笔记本电脑 GPU 上训练 8B 模型。

Local Deep Research 在 SimpleQA 基准测试中达到约 95% 准确率（使用 GPT-4.1-mini 测试）。支持本地及云端大语言模型（Ollama、Google、Anthropic 等）。可搜索 10 余种来源——包括 arXiv、PubMed、网络及您的私人文档。所有流程均在本地加密运行。

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

开源医疗人工智能

开源语音代理平台

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

Atomic Agent 是本地优先的 AI 代理。通过 llama.cpp 在您自己的机器上运行开放重量模型。

即插即用的本地人工智能工作室：未经审查的聊天、图像和视频生成、编码代理。 Runs abliterated LLMs + ComfyUI 100% offline. One installer, no Docker, no cloud.

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

终极零安装、便携式本地AI环境。直接从任何USB驱动器或SSD运行高质量、未经审查的LLM（Gemma、Qwen、NemoMix）。完全离线隔离、跨平台（Win/Mac/Linux），并支持持久化聊天历史，隐私优先。

设备端实时多模态AI。与完全运行在您本机上的AI进行自然的语音和视觉对话，由Gemma 4 E2B和Kokoro驱动。

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

NobodyWho 是一个推理引擎，可让您在任何设备上本地高效地运行 LLM。

使用Ollama、OpenAI（兼容）、Gemini、Mistral、Poe或OpenRouter翻译整本书籍和文档，保留格式，支持断点续传，无文件大小限制。

Ouroboros — 自我创造的人工智能代理。出生于 2026 年 2 月 16 日。

用 C 编写的极简、终端本机编码代理。

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

将您的 Android 手机变成兼容 OpenAI 的 LLM 推理服务器 - 完全本地、私有和开源

Windows Llama 应用程序伴侣

面向聊天、RAG、计划、MCP工具及智能体的AI客户端，支持多提供商模型。