#llm 每月趋势报告

OmniRoute是一个面向多供应商大语言模型的AI网关：它提供兼容OpenAI的端点，具备智能路由、负载均衡、重试和故障转移功能。

OmniRoute是一个面向多供应商大语言模型的AI网关：它提供兼容OpenAI的端点，具备智能路由、负载均衡、重试和故障转移功能。

TencentDB Agent Memory 通过四级渐进式流水线为AI Agent提供完全本地的长期记忆，且不依赖任何外部API。

TencentDB Agent Memory 通过四级渐进式流水线为AI Agent提供完全本地的长期记忆，且不依赖任何外部API。

✨ 为您的应用程序提供开源AI黑客工具 👨🏻‍💻

将任何技术类PDF书籍转化为Claude Code技能——可在工作中随时学习、参考和使用。

将任何技术类PDF书籍转化为Claude Code技能——可在工作中随时学习、参考和使用。

使用单张4GB GPU实现AirLLM 70B推理

⌥ 终端AI编程代理——基于哈希锚定的编辑、优化的工具集、LSP、Python、浏览器、子代理等

面向终端的DeepSeek原生AI编程助手。围绕前缀缓存稳定性设计——保持其持续运行。

可在极小设备上运行的2600万参数函数调用模型

可在极小设备上运行的2600万参数函数调用模型

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

21堂课带你入门生成式AI开发

编码智能体框架

数百种模型与提供商。一条命令即可找出可在您硬件上运行的内容。

Apache Maka（孵化）是本地优先的 AI 代理工作区。模型消息、工具调用、工具结果、权限决策和终止事件都记录为仅附加日志。

Apache Maka（孵化）是本地优先的 AI 代理工作区。模型消息、工具调用、工具结果、权限决策和终止事件都记录为仅附加日志。

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

专为Apple Silicon打造的LLM推理服务器，具备连续批处理和SSD缓存功能，可通过macOS菜单栏管理

全栈 AI 红队平台通过代理扫描、技能扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估来保护 AI 生态系统。

TSP自托管、零运维的A股「选股+监控+回测」量化工作台| 基于 TickFlow 数据源 | LLM能力驱动使策略定制+个股分析+复盘 | 自由接入第三方数据源与个性化扩展数据| 个人开源,非第三方官方项目

https://adongwanai.github.io/AgentGuide | AI智能体开发指南 | LangGraph实战 | 高级RAG | 转型大模型 | 大模型面试 | 算法工程师 | 面试题库 | 强化学习 | 数据合成

Qwen Code 是生活在数字世界的编程智能体。

编码代理的运行时故障解决方案。挂钩 Claude Code、Codex 和您最喜欢的安全带。在循环、危险行为和秘密泄露成为事件之前将其捕获。零延迟。在本地运行。

该技能用于审计和重写内容，以去除AI写作痕迹。可配合您喜爱的智能体使用，包括Claude Code、OpenClaw和Hermes。

从零开始的大语言模型原理与实践教程

🐙 提示工程指南、论文、讲座、笔记本及资源

O'Reilly书籍《动手玩转大语言模型》官方代码库

RikkaHub是一款支持多种LLM提供商的Android应用

本地优先的桌面小部件，用于跟踪超过 32 种 AI 编码工具（包括 Claude Code、Codex、Cursor、OpenCode 和 OpenClaw）的令牌使用情况、成本和限制，并具有多设备同步功能。

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

JVM代理框架，发音为Em-BAY-bel /ɛmˈbeɪbəl/

基于Flutter框架的LLM聊天客户端，支持Android、iOS及Harmony Next系统。

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

为提示工程增添工程化能力的AI框架（兼容Python/TS/Ruby/Java/C#/Rust/Go）

数据中心级分布式推理服务框架

可扩展且灵活的工作流编排平台，无缝统一数据、机器学习和分析技术栈。

OpenVINO™是用于优化和部署AI推理的开源工具套件

快速轻松地将尖端LLM技术集成到您的应用中。

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

如何在CUDA中优化某些算法

LLM辅助代码/文本补全的Vim插件

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

cuVS - 一个用于GPU上的向量搜索与聚类的库