由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

model-serving

话题找到数量

vllm-project/vllm

Python

面向大语言模型的高吞吐量与内存优化型推理服务引擎

amd blackwell cuda
vllm-project
vllm-project 开发者
95k
23k
3.2k
+1.4k
排名 #5
10月25日
查看详情

kserve/kserve

Go

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

artificial-intelligence cncf genai
kserve
kserve 开发者
6.2k
1.8k
1.8k
+5
排名 #9
10月30日
查看详情

beclab/Olares

Go

Olares：一个开源的私有云平台，助您重掌数据主权。

ai-agents ai-privacy edge-ai
beclab
beclab 开发者
5.2k
320
1.5k
+97
排名 #22
8月9日
查看详情

vllm-project/vllm-omni

Python

一个面向全模态模型的高效推理框架。

audio-generation diffusion image-generation
vllm-project
vllm-project 开发者
5.1k
1.1k
2k
+24
排名 #15
6月10日
查看详情

vllm-project/vllm-ascend

C++

面向昇腾平台的vLLM社区维护硬件插件

ascend inference llm
vllm-project
vllm-project 开发者
2.9k
2.3k
2.3k
+7
排名 #10
9月21日
查看详情

sgl-project/sglang-omni

Python

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

asr audio-generation cuda
sgl-project
sgl-project 开发者
1.5k
603
1k
+30
排名 #12
10月15日
查看详情

alibaba/rtp-llm

Cuda

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

gpt inference llama
alibaba
alibaba 开发者
1.3k
270
1.7k
+6
排名 #12
9月6日
查看详情
助手