llm

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

停止手动提示，开始精确指定

全栈 AI 红队平台通过代理扫描、技能扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估来保护 AI 生态系统。

OpenClaw智能大语言模型路由系统，可降低高达70%的成本

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

结合知识库、知识图谱管理的多租户Agent Harness平台。一个集成了LightRAG知识库与知识图谱的Agent Harness。基于LangChain + Vue + FastAPI构建，支持DeepAgents、MinerU PDF、Neo4j、MCP。

开箱即用的自动化工具，提供智能体就绪的RPA套件，专为个人与企业打造。

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

红队自主黑客代理

将您的PC、Mac或Linux设备转变为AI服务器，支持大语言模型推理、聊天界面、语音、智能体、工作流、RAG及图像生成。

使用 MLX 运行大型语言模型

Apache Maka（孵化）是本地优先的 AI 代理工作区。模型消息、工具调用、工具结果、权限决策和终止事件都记录为仅附加日志。

🐬DeepChat——将强大AI与个人世界连接的智能助手

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

The Unofficial and Awesome Home Assistant MCP Server

AxonHub是一个现代化的AI网关系统，提供统一的OpenAI、Anthropic、Gemini及AI SDK兼容API接口

开源医疗人工智能

一种模型驱动的方法，仅需几行代码即可构建 AI 智能体。

编码代理的运行时故障解决方案。挂钩 Claude Code、Codex 和您最喜欢的安全带。在循环、危险行为和秘密泄露成为事件之前将其捕获。零延迟。在本地运行。

Persistent memory for Claude Code, Codex and 6 other AI agents, stored as plain markdown in your Obsidian vault. New: Crew, one shared logbook so Claude Code, Codex, Cursor and Grok Bot know what each other did. 48 commands: semantic search, self-rewriting notes, key-less research, scheduled agents.