inference-engine

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

MLX 速度提高 3 倍 |酷文3.8 27B | Apple Silicon 上的本机 MTP 推测解码，无需外部起草器。

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

NobodyWho 是一个推理引擎，可让您在任何设备上本地高效地运行 LLM。

专为多种AI加速器优化的大语言模型高性能推理引擎。

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。