NVIDIA GPU Operator可在Kubernetes中创建、配置和管理GPU

异构AI计算虚拟化中间件（CNCF孵化项目）

开源的AWS替代方案。提供弹性计算、块存储（非复制）、防火墙和负载均衡器、托管Postgres、K8s、AI推理和IAM服务。

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

华硕笔记本及ROG Ally的轻量化Armoury Crate替代方案。支持ROG Zephyrus G14、G15、G16、M16、Flow X13、Flow X16、TUF、Strix、Scar等型号的控制工具。

GPU & Accelerator process monitoring for AMD, Apple, Huawei, Intel, NVIDIA and Qualcomm

线性代数子程序的CUDA模板

FlashInfer：大语言模型服务的核心计算库

一个用于加速仿真、数据生成和空间计算的 Python 框架。

Linux 显卡配置与监控工具

面向集体多GPU通信的优化原语

NVIDIA's CUDA platform for Rust. Host runtime crates plus Tile (cutile-rs) and SIMT (cuda-oxide) kernel programming models in idiomatic Rust.

cuda-oxy 是一个 Rust 到 CUDA 的编译器，可让您使用安全（ish）、惯用的 Rust 编写（SIMT）GPU 内核。它将标准 Rust 代码直接编译为 PTX——没有 DSL，没有外语绑定，只有 Rust。