由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

每日 每周 每月
2026-08-10
返回报告
🏷️

#inference 每日趋势报告

📅 2026-08-10
📊 4 个项目

🔥 #inference 每日热门项目

ddalcu/mlx-serve

Zig

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

agent anthropic-api apple-silicon
ddalcu
ddalcu 开发者
575
40
390
+11
排名 #2
8月10日
查看详情

mozilla-ai/llamafile

C++

用单个文件分发和运行大语言模型。

cross-platform gguf llama-cpp
mozilla-ai
mozilla-ai 开发者
25k
1.5k
719
+9
排名 #12
8月10日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.6k
471
680
+2
排名 #1
8月10日
查看详情

openvinotoolkit/openvino_notebooks

Jupyter Notebook

📚 OpenVINO™ 的 Jupyter Notebook 教程

computer-vision deep-learning inference
openvinotoolkit
openvinotoolkit 开发者
3.2k
1k
756
排名 #17
8月10日
查看详情

📊 数据统计

4 个热门项目
2026-08-10 数据日期

🔥 TrendForge - 追踪开源项目热度，发现技术趋势

助手