由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

quantization

话题找到数量

UFund-Me/Qbot

Jupyter Notebook

[🔥更新中...] AI自动量化交易机器人（完全本地部署）AI驱动的量化投资研究平台。

backtest bitcoin blockchain
UFund-Me
UFund-Me 开发者
18k
2.6k
1k
+12
排名 #15
8月7日
查看详情

OpenNMT/CTranslate2

C++

面向Transformer模型的快速推理引擎

avx avx2 cpp
OpenNMT
OpenNMT 开发者
4.5k
497
771
+3
排名 #5
6月27日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.8k
510
1.2k
+16
排名 #5
9月19日
查看详情

RightNow-AI/picolm

C

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

arm embedded inference
RightNow-AI
RightNow-AI 开发者
2.2k
272
861
+23
排名 #3
9月16日
查看详情

thu-ml/SpargeAttn

Cuda

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

ai-infra attention inference-acceleration
thu-ml
thu-ml 开发者
1.2k
105
1.1k
+21
排名 #6
9月19日
查看详情

Tencent/AngelSlim

Python

为提升易用性、全面性与效率而设计的模型压缩工具包。

audio deepseek dflash
Tencent
Tencent 开发者
753
92
1.1k
+38
排名 #11
5月1日
查看详情

psmarter/CUDA-Practice

Cuda

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。

cuda cuda-kernels cutlass
psmarter
psmarter 开发者
155
12
684
+49
排名 #4
5月31日
查看详情

RyanCodrai/turbovec

Rust

基于TurboQuant构建的向量索引，使用Rust编写并带有Python绑定

ann avx512 embedding
RyanCodrai
RyanCodrai 开发者
0
0
823
排名 #7
9月12日
查看详情
助手