由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名

kv-cache

话题找到数量

LMCache/LMCache

通过最快的KV缓存层为您的LLM加速

10k
1.5k
1.8k
+101
排名 #9
7月10日
查看详情

bojieli/ai-infra-book

《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

7.8k
629
34
+127
排名 #4
11月15日
查看详情

JakeATX/llamAmpere

llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx. 120+ TPS, 3300+ prefill for QFN 3.8.

376
44
415
+29
排名 #8
11月12日
查看详情
助手