由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
模型轻量推理引擎
过去30天，专注于在边缘设备运行大型模型的推理框架热度飙升，相关仓库数量达170个，总星标增长近万。这标志着机器学习正从云端中心化走向端侧部署，以降低成本和延迟。例如，colibri实现了纯C语言的MoE模型流式加载，sglang则提供了针对大语言模型的高速推理优化。
该叙事下的活跃项目
SGLang是面向大语言模型与视觉语言模型的高速推理框架。
React框架
免费无广告的追剧资源指南，人工精选资源、每日检测资源有效。收录了在线影视、影视APP、网盘搜索、磁力BT、字幕、TVBox /影视仓空壳软件/配置地址、IPTV直播源、会员拼团、影视相关开源项目。开源，社区共同维护。
可在极小设备上运行的2600万参数函数调用模型
NATS.io高性能服务器——面向云与边缘原生的消息系统。
Apache Iggy：激光速度级的超高效消息流处理
Apache Maka（孵化）是本地优先的 AI 代理工作区。模型消息、工具调用、工具结果、权限决策和终止事件都记录为仅附加日志。
适用于代理所需的所有模型的开源推理服务器和生产集群。
cuda-oxy 是一个 Rust 到 CUDA 的编译器，可让您使用安全（ish）、惯用的 Rust 编写（SIMT）GPU 内核。它将标准 Rust 代码直接编译为 PTX——没有 DSL，没有外语绑定，只有 Rust。
OpenBitFun 将用 Rust 编写的高性能代理运行时与精美的桌面应用程序相结合。它将代码代理的深度与开放的通用功能相结合，用于软件开发之外的工作。
让每个人都能构建可靠高效的软件
OBS Studio - 用于直播和屏幕录制的免费开源软件
基于 YouTube Music 后端的简易音乐应用
Node.js JavaScript运行时 ✨🐢🚀✨
停止手动提示，开始精确指定
量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。
Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
支持本地文件与 YouTube Music 的 Android 最可爱 Material 3 表现力音乐播放器
机器学习系统导论
采用静态类型推断的TypeScript优先模式验证
Apache Kafka 镜像仓库
zenoh 统一了动态数据、使用中数据、静态数据及计算任务。
新型基于标记的排版系统，功能强大且易于学习。
在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型