cuda

开源语音合成工作室

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

VoiceStudio 是 ElevenLabs 的开源、完全本地化替代方案 — 提供 646 种语言的语音克隆、语音设计、视频配音、听写、转录和有声读物创建。

动漫风格图像超分辨率技术

全球最快最先进的密码恢复工具

即时神经图形原语：极速神经辐射场（NeRF）及其他技术

Burn是下一代深度学习框架，在灵活性、效率和可移植性方面毫不妥协。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

非NVIDIA GPU的CUDA支持

Open3D：面向三维数据处理的现代算法库

解谜题，学CUDA。

基于现代C++的通用任务并行编程系统

面向GPU的NumPy与SciPy

📚LeetCUDA：面向初学者的现代CUDA学习笔记（基于PyTorch）🐑，包含200+个CUDA内核、张量核心、HGEMM、FA-2 MMA。🎉

线性代数子程序的CUDA模板

通过最快的KV缓存层为您的LLM加速

面向CUDA开发者的示例代码库，展示CUDA工具包功能特性

一个快速、可扩展、高性能的基于决策树的梯度提升库，用于Python、R、Java、C++的排序、分类、回归及其他机器学习任务，支持CPU和GPU计算。

一个用于加速仿真、数据生成和空间计算的 Python 框架。

FlashInfer：大语言模型服务的核心计算库

简化着色器开发流程

面向Transformer模型的快速推理引擎

一个基于MLIR的可重定向机器学习编译器与运行时工具包。

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。