inference

暂无项目描述

面向移动设备、服务器和Web的高效浮点神经网络推理算子

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

概率规划的贝叶斯推理。

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

PHP 生态系统的代理框架，用于构建生产就绪的人工智能驱动的应用程序。将组件（LLM、工具、矢量 DB、内存）连接到与数据和 UI 交互的代理。

基于Envoy Gateway构建的生成式AI服务统一访问管理平台

MLX 速度提高 3 倍 |酷文3.8 27B | Apple Silicon 上的本机 MTP 推测解码，无需外部起草器。

面向使用LaTeX/Beamer与R的学术工作者可即时复用的Claude代码模板，包含多智能体审阅、质量门控、对抗性质量检查及复现协议。

在 OpenAI 兼容端点后面的 Apple Silicon (MLX) 上进行快速、准确的 LLM 解码

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

“How To Scale Your Model”的主页，这是一本关于在 TPU 上扩展法学硕士的简短博客式教科书

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

NobodyWho 是一个推理引擎，可让您在任何设备上本地高效地运行 LLM。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

专为多种AI加速器优化的大语言模型高性能推理引擎。

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

代理网格

开源网络管理与可观测性平台

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

导轨作为规范；部署目标是构建标志