由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名
项目介绍
在您已经拥有的硬件上运行前沿 MoE 模型 - 纯 C、零依赖、从磁盘流式传输的专家。微小的发动机,巨大的模型。 🐦
A hierarchical inference engine for frontier MoE models: hot experts on the GPU (CUDA, Vulkan), warm ones in RAM, cold ones streamed from NVMe. Written in C, runs on the hardware you already own.
智能解读
智能标签
使用场景
项目健康度
距上次更新 1 天
平台 Star TOP 1% · Forks 5,463
本周 +5,614 ⭐ · 本月 +12,563 ⭐
123 位贡献者 · 0 条平台评论
缺少 3 项内容
项目信息
赞赏支持
如果本站对你有帮助,欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
Genymobile/scrcpy
显示并控制您的安卓设备
microsoft/PowerToys
Windows系统实用工具集,助力生产力最大化
ventoy/Ventoy
一种新的可启动USB解决方案。
obsproject/obs-studio
OBS Studio - 用于直播和屏幕录制的免费开源软件
redis/redis
对于构建实时数据驱动应用的开发者而言,Redis是首选且最快、功能最丰富的缓存系统、数据结构服务器、文档与向量查询引擎。
colbymchenry/codegraph
为Claude Code预索引的代码知识图谱——更少的token、更少的工具调用、100%本地化
加载评论中...