llm

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

大语言模型漏洞扫描器

RikkaHub是一款支持多种LLM提供商的Android应用

学习它。构建它。为他人交付它。

暂无项目描述

面向大语言模型的高吞吐量与内存优化型推理服务引擎

只需几分钟即可在 AMD Ryzen™ AI NPU 上运行法学硕士。就像 Ollama - 但专为 AMD NPU 构建并深度优化。

人工智能代理的开发者控制平面

本地优先的桌面小部件，用于跟踪超过 32 种 AI 编码工具（包括 Claude Code、Codex、Cursor、OpenCode 和 OpenClaw）的令牌使用情况、成本和限制，并具有多设备同步功能。

管理对基于 Envoy Gateway 构建的生成式 AI 服务的统一访问

适用于 Zotero 图书馆的开源研究代理系统。

自托管工作流编排器，适用于主要工作不是编排的团队。脚本、SSH 命令、容器等上的声明性 YAML；将工作流程与业务逻辑分开。一个二进制文件，没有数据库，在有限的硬件资源上运行。 Airflow / Cron / Job Scheduler 的替代品。

为人们提供分布式 AI/LLM。私下或公开共享计算，为您的代理和聊天提供支持。