#cuda 每日趋势报告

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

FlashInfer：大语言模型服务的核心计算库

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

cuVS - 一个用于GPU上的向量搜索与聚类的库

GPU加速决策优化

RAFT 包含用于机器学习和信息检索的基础性、广泛使用的算法与原语。这些算法经过 CUDA 加速，构成了更轻松编写高性能应用程序的构建模块。

即时神经图形原语：极速神经辐射场（NeRF）及其他技术