attention

使用PyTorch从零开始逐步实现类ChatGPT大型语言模型

🧑‍🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

📚LeetCUDA：面向初学者的现代CUDA学习笔记（基于PyTorch）🐑，包含200+个CUDA内核、张量核心、HGEMM、FA-2 MMA。🎉

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

FlashInfer：大语言模型服务的核心计算库

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

最佳多智能体论文汇编

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。