inference-server

专为Apple Silicon打造的LLM推理服务器，具备连续批处理和SSD缓存功能，可通过macOS菜单栏管理

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

面向加速基础设施与微服务架构优化的生成式AI参考工作流

NVIDIA DeepStream Monorepo：DeepStream SDK及参考应用，用于构建基于GStreamer、TensorRT和视觉AI模型的GPU加速实时视频与多传感器分析管道，支持边缘、本地及云端部署。