#cuda 每日趋势报告

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

FlashInfer：大语言模型服务的核心计算库

跨供应商 3D 高斯泼溅训练器 - 泼溅到网格、Vulkan 或 CUDA 的视频。

GPU加速决策优化

cuGraph - RAPIDS 图分析库

CUDA库示例集

即时神经图形原语：极速神经辐射场（NeRF）及其他技术