llm-serving

面向大语言模型的高吞吐量与内存优化型推理服务引擎

本项目旨在分享大模型相关技术原理及实战经验（大模型工程化、大模型应用落地）。

在任何AI基础设施上运行、管理和扩展AI工作负载。使用统一系统访问和管理所有AI计算资源（Kubernetes、17+云平台或本地部署）。

面向昇腾平台的vLLM社区维护硬件插件

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。