#inference 每日趋势报告

面向大语言模型的高吞吐量与内存优化型推理服务引擎

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。