LLM-as-a-Judge 是让大模型担任评估者的方法。Session Store 的标准轨迹可以直接用于这一评估模式:团队将任务要求、执行数据和业务评分标准提供给评估模型,按需要补充参考答案或预期结果,让模型分析结果质量与行动过程,给出评分和判断依据。
评估关注点因任务类型而异:
- 修复类任务:关注 Agent 是否理解了工具报错、是否据此采取合理行动、最终回复是否准确说明验证范围;
- 开放任务:关注工具选择、资料依据和任务推进情况,为不同的有效完成路径保留空间。
评估结果需要校验机制:代码修复是否生效可结合实际测试检查;业务规则是否满足可通过规则校验;人工抽检用于核对 LLM 判断是否符合团队标准。这些反馈帮助自进化系统确定优先处理的问题,并在候选改进之间作出选择——Session Store 提供执行数据,评估工具形成判断,两者共同为后续迭代提供依据。




