CnOps 智能运维与可观测社区
首页开源项目实践文章视频课程常见问答开发者工具STAROps 专题
导航菜单
首页开源项目实践文章视频课程常见问答开发者工具STAROps 专题

CnOps 智能运维与可观测社区

愿景

CnOps 智能运维与可观测社区是一个以"智能运维与可观测"为核心的开放、包容、分享的技术社区,旨在聚集运维专家、开发者和爱好者,共同探讨、学习和分享可观测最佳实践与最新技术,与众多技术社区合作互动,共同探讨交叉领域的技术挑战,推动可观测领域的创新与进步。

内容社区

  • 实践文章
  • 视频课程
  • 开源项目
  • 常见问答
  • 开发者工具

友情链接

  • Prometheus
  • Grafana Lab
  • OpenTelemetry
  • LoongCollector

关注我们

阿里云云原生公众号阿里云云原生
阿里云可观测公众号阿里云可观测

Copyright © 2026 CnOps 社区. All rights reserved.

首页问答什么是 LLM-as-a-Judge?如何用标准轨迹让大模型评估 Agent 执行质量?

什么是 LLM-as-a-Judge?如何用标准轨迹让大模型评估 Agent 执行质量?

#LLM-as-a-Judge#SLS#Agent评估#SessionStore

CNOps | 2026-10-20

LLM-as-a-Judge 是让大模型担任评估者的方法。Session Store 的标准轨迹可以直接用于这一评估模式:团队将任务要求、执行数据和业务评分标准提供给评估模型,按需要补充参考答案或预期结果,让模型分析结果质量与行动过程,给出评分和判断依据。

评估关注点因任务类型而异:

  • 修复类任务:关注 Agent 是否理解了工具报错、是否据此采取合理行动、最终回复是否准确说明验证范围;
  • 开放任务:关注工具选择、资料依据和任务推进情况,为不同的有效完成路径保留空间。

评估结果需要校验机制:代码修复是否生效可结合实际测试检查;业务规则是否满足可通过规则校验;人工抽检用于核对 LLM 判断是否符合团队标准。这些反馈帮助自进化系统确定优先处理的问题,并在候选改进之间作出选择——Session Store 提供执行数据,评估工具形成判断,两者共同为后续迭代提供依据。

推荐文章

超过 2000+ 位开发者正在阅读

给 OpenClaw 加上企业级 Memory

给 OpenClaw 加上企业级 Memory

4646 阅读

阿里云 STAROps 全域智能运维平台发布!

阿里云 STAROps 全域智能运维平台发布!

3453 阅读

阿里云正式发布 RCA Benchmark

阿里云正式发布 RCA Benchmark

2716 阅读

推荐视频

UModel 最佳实践 Vol.1 UModel 数据建模全景解读

UModel 最佳实践 Vol.1 UModel 数据建模全景解读

3854 观看50:35
云监控2.0全景:可观测范式升级与智能运维蓝图

云监控2.0全景:可观测范式升级与智能运维蓝图

2532 观看41:06

推荐工具

精选可观测领域开发者工具

云监

云监控 2.0 沙箱体验

7483 使用

免费

免费网络拨测工具

2746 使用