A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

OpenVINO™是用于优化和部署AI推理的开源工具套件

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

面向加速基础设施与微服务架构优化的生成式AI参考工作流

免费获取GPT-5.5、Claude、DeepSeek、Gemini、Grok的LLM API密钥——复制、粘贴、使用。每日更新3-5次。无需信用卡。

CSGHub是由OpenCSG团队开发的全新开源大语言模型管理平台，提供开源版和本地化/SaaS解决方案，功能对标Hugging Face。完整掌控大语言模型、数据集和智能体的生命周期，Python SDK与Hugging Face兼容。欢迎加入我们！⭐️

TokenSpeed 是一款光速级的大语言模型推理引擎。

MLX 速度提高 3 倍 |酷文3.8 27B | Apple Silicon 上的本机 MTP 推测解码，无需外部起草器。

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

Context-Engine MCP - 智能上下文压缩套件

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

项目竞品项目否描述

为提升易用性、全面性与效率而设计的模型压缩工具包。

专注于隐私的AI会议笔记工具，采用本地托管的小型语言模型驱动。用于生成结构化临床笔记的StenoAI Med版本即将推出。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

DeepSeek Harness 的第一个视觉插件，以及每个纯文本编码代理的视觉桥。粘贴图像，获取结构化 JSON 证据（OCR、布局、语义）。 | 全网第一个 DeepSeek Harness 视觉插件，为 DeepSeek、GLM 等纯文本模型外挂视觉能力，粘贴图片即得格式化 JSON 证据（OCR、版面、语义）。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。