llm

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

一个开源的代码优先Go工具包，用于灵活可控地构建、评估和部署复杂AI智能体。

⚙️🦀 用 Rust 构建模块化、可扩展的 LLM 应用程序

构建代理线束并对其进行端到端控制。用于 Python 和 TypeScript 中的生产 AI 代理的开源 SDK - 任何模型、任何云。

RikkaHub是一款支持多种LLM提供商的Android应用

Android平台最强大的人工智能助手与AI聊天软件

数据中心级分布式推理服务框架

只需几行代码，即可在骁龙设备的NPU、GPU和CPU上本地运行前沿LLM和VLM模型

Local Deep Research 在 SimpleQA 基准测试中达到约 95% 准确率（使用 GPT-4.1-mini 测试）。支持本地及云端大语言模型（Ollama、Google、Anthropic 等）。可搜索 10 余种来源——包括 arXiv、PubMed、网络及您的私人文档。所有流程均在本地加密运行。

运行前沿LLM和VLM，支持GPU、NPU和CPU的发布当日模型适配，覆盖PC（Python/C++）、移动端（Android和iOS）及Linux/IoT（Arm64和x86 Docker）的完整运行时环境。支持OpenAI GPT-OSS、IBM Granite-4、Qwen-3-VL、Gemma-3n、Ministral-3等模型。

Gentle-AI 配置您已使用的 AI 编码代理：Claude Code、Cursor、OpenCode、Codex、Pi 等。选择持久内存、规范驱动开发、策划技能、MCP 服务器、角色和可选的有界审查。开源，无代理锁定。

Evidently 是开源的机器学习和大语言模型可观测性框架。评估、测试并监控任何AI驱动系统或数据流水线。从表格数据到生成式AI，涵盖100多项指标。

掌控你的AI。专为AI代理打造的原生macOS框架——支持任意模型、持久化记忆、自主执行与加密身份。基于Swift构建。完全离线运行。开源项目。

网络安全AI框架，专攻AI安全领域

快速灵活的LLM推理

一个 CLI 工具，可将您的代码库转换为具有源树、提示模板和令牌计数的单个 LLM 提示。

🐸 Read Frog - 开源沉浸式翻译 | 🐸 陪读蛙 - 开源沉浸式翻译

可扩展且灵活的工作流编排平台，无缝统一数据、机器学习和分析技术栈。

开源全合一 AI 代理工作区。使用共享内存在您的工具（100 多个集成 + MCP）、应用程序、浏览器和文件中运行任何代理 - Claude Code、Codex。内置模型或 BYOK。

具备无代理、性能集群、Prometheus兼容、自定义监控和状态页面构建能力的实时可观测性系统。

用于多通道、多凭证设置的自托管 AI 网关 — API 密钥和订阅帐户、调度、故障转移、请求日志和使用情况。 自托管AI网关：多渠道多外汇统一接入器，含外汇与订阅账号、调度内容错、日志与用量。

面向Claude、GPT、O系列、Grok、Deepseek、Gemini及300多种模型的AI增强型结对编程工具

基于大语言模型的非结构化数据提取——专为API部署与ETL管道工作流构建。

自动生成您一天的时间线