大模型评测 · 基础设施2026.04 - 2026.07
Agent 评测基础设施
Docker 沙箱Agent-as-JudgePython asynciorubric 校准SWE-Atlas / ALFWorld
概述
端到端 Agent 评测体系：容器化执行与判分引擎、平台级黑盒 CLI Agent 评测服务、评测题目与 Rubric 自动化生产与可信校准。
问题
会调用工具、多轮决策的大模型 Agent 无法用静态问答基准衡量；需要在隔离环境真实跑题、可复现判分，并保证题目可解、有区分度、判分可信。
方案
构建容器化执行引擎 + Agent-as-Judge 判分 + 双容器防作弊评测服务 + 出题/Rubric 自动化生产与三重可信校准（可解性/区分度/一致性）。
影响
- 支撑评测集大规模异步并发跑批，接入多类公开与自建 Agent Benchmark。
- 将“批量造题”升级为“可信评测题源生产线”，形成端到端评测流水线。
执行与判分引擎
Docker 隔离沙箱跑 CLI Agent、收集产物/轨迹；Agent-as-Judge 做 rubric 多维加权打分；asyncio Pipeline+Stage 支撑大规模并发。
关键技术
可信校准（核心）
反向验证自产题目：可解性（强模型跑通）+ 区分度（弱模型跑不过）+ rubric 一致性（Cohen's kappa / bootstrap 量化）。