Session Store 为样本建设提供可查询、可追溯的数据来源。整理数据集时可以选取三类素材:典型问题、高频任务和可靠完成的案例,然后按业务目标核验、分类并补充评价要求。
以一条修复轨迹为例,可以保留任务要求、必要的代码与环境背景、测试反馈以及后续行动,整理成环境异常处理的评估样本;同时把可靠完成类似修复的轨迹也纳入,让数据集覆盖正常场景和困难场景。选取粒度上,完整任务适合检查整体完成情况,关键片段适合研究下一步行动决策。
两个实践要点:一是保留样本与原始轨迹的关联,便于复查上下文;二是让新出现的问题持续补充进数据集,形成长期积累。当模型、提示词或工具发生变化后,还可以在同一任务集上运行不同版本,比较结果、轨迹和消耗;对关键任务多次运行,能观察 Agent 表现是否稳定。




