evaluation

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。

大语言模型评估框架

用于语言模型少样本评估的框架。

大语言模型漏洞扫描器

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

TEAMMATES 是一款用于教育的反馈管理工具

trpc-agent-go 是一个基于 Go 语言的强大框架，用于利用大语言模型和工具构建智能代理系统。

一款用于自动化大语言模型模糊测试的强大工具。

为大型语言模型训练构建强化学习环境

KernelBench：大语言模型能否编写GPU内核？——支持Torch转CUDA的基准测试与工具集

Julia中可扩展的符号-数值集合计算

AI数据管理与评估平台

📷 专为维基爱竞赛设计且由该竞赛使用的照片评估工具