Agentic RL · 评测→训练闭环个人项目
Agentic RL：评测→训练闭环
verlGRPOALFWorld多轮 rollout可验证奖励 / RLVR
概述
用可验证奖励驱动多轮 Agent 的 GRPO 训练，把“评测发现能力缺口”升级为“训练修复缺口”，在 ALFWorld 上跑通完整 agentic RL 机制。
问题
评测能精确刻画模型的能力缺口，却无法修复它；评测信号需要回流到训练，才能真正提升 Agent 能力。
方案
把评测的 rubric 可验证奖励作为 reward 信号，基于 verl 对多轮工具调用 Agent 做 GRPO 训练，处理 turn-level 信用分配、轨迹级稀疏奖励与长轨迹稳定性。
影响
- 在 ALFWorld 上跑通多轮 Agent 的 GRPO，打通“评测→训练→再评测”闭环。
- 同一套可验证奖励既用于评测判分、又用于 RL 训练，是评测与训练的连接点。
多轮 agentic RL
“思考→调工具→读环境返回→再决策”多轮 rollout；token 级 loss mask（仅计 Agent 输出）；对比 GRPO 与 PPO 在长轨迹上的稳定性。
关键技术
诚实边界
ALFWorld 上的 agentic RL 是真实跑通验证的；向真实办公/代码 Agent 任务的迁移目前为设计方案。