由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

sglang

话题找到数量

ai-dynamo/dynamo

Rust

数据中心级分布式推理服务框架

diffusion disaggregated-serving kubernetes
ai-dynamo
ai-dynamo 开发者
7.7k
1.4k
795
+74
排名 #17
8月2日
查看详情

OpenDCAI/DataFlow

Python

借助基于最新大语言模型的算子与流水线轻松实现数据准备。

data data-agent data-cleaning
OpenDCAI
OpenDCAI 开发者
7k
881
188
+38
排名 #15
7月26日
查看详情

kvcache-ai/Mooncake

C++

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

disaggregation inference kvcache
kvcache-ai
kvcache-ai 开发者
6.1k
1k
697
+116
排名 #21
8月2日
查看详情

SemiAnalysisAI/InferenceX

Shell

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

ai amd benchmark
SemiAnalysisAI
SemiAnalysisAI 开发者
1.1k
202
615
+11
排名 #8
6月17日
查看详情
助手