gguf

数百种模型与提供商。一条命令即可找出可在您硬件上运行的内容。

用单个文件分发和运行大语言模型。

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

动手学Ollama，在CPU上玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

支持16+模型家族的ggml语音转文本推理

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

安卓端设备本地人工智能——支持大语言模型聊天、视觉语言模型、图像生成、工具调用、AI角色扮演、检索增强生成知识包、文本转语音与语音转文本。完全离线运行，无需订阅，开源免费。

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。