inference

面向苹果芯片的端侧语音人工智能

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

一款用于发现PHP应用程序错误与安全漏洞的静态分析工具

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

一个面向全模态模型的高效推理框架。

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

面向Transformer模型的快速推理引擎

面向加速视频生成的统一推理与训练后处理框架

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

CSGHub是由OpenCSG团队开发的全新开源大语言模型管理平台，提供开源版和本地化/SaaS解决方案，功能对标Hugging Face。完整掌控大语言模型、数据集和智能体的生命周期，Python SDK与Hugging Face兼容。欢迎加入我们！⭐️

面向加速基础设施与微服务架构优化的生成式AI参考工作流

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

A collection of scientific methods, processes, algorithms, and systems to build stories & models.

📚 OpenVINO™ 的 Jupyter Notebook 教程

用于因果人工智能的Python库

用于人工智能模型的高性能推理引擎

适用于代理所需的所有模型的开源推理服务器和生产集群。

一个用Rust编写的便携式加速SQL查询、搜索及LLM推理引擎，适用于数据驱动的AI应用与智能体。

面向昇腾平台的vLLM社区维护硬件插件