由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
JakeATX/llamAmpere
项目介绍
llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx. 120+ TPS, 3300+ prefill for QFN 3.8.
智能解读
原始标签
智能标签
使用场景
项目健康度
今日有提交
平台 Star TOP 26% · Forks 37
本周 +42 ⭐ · 本月 0 ⭐
441 位贡献者 · 0 条平台评论
缺少 3 项内容
1 项改进建议
- 增长：近期 Star 增长缓慢，项目热度有待提升
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
tensorflow/tensorflow
面向所有人的开源机器学习框架
ggml-org/llama.cpp
使用 C/C++ 实现的大语言模型推理框架
react/react-native
一个使用React构建原生应用程序的框架
facebook/react-native
一个使用React构建原生应用程序的框架
electron/electron
使用 JavaScript、HTML 和 CSS 构建跨平台桌面应用程序
godotengine/godot
Godot引擎——跨平台2D与3D游戏引擎
加载评论中...