Hermes 可观测方案基于 OpenTelemetry 体系设计,具有五个显著技术优势。第一,语义层面遵循 GenAI 标准规范,优先对齐 OpenTelemetry GenAI 语义约定,并结合 LoongSuite Semantic Conventions 做扩展,保证字段名标准化、可复用和可迁移。第二,不仅提供 Trace 还提供基础 Metrics 信号,包括调用次数、错误次数、调用耗时和 Token 使用量等趋势指标。第三,对 streaming 场景单独记录 TTFT(Time To First Token),能区分首字延迟和整体生成慢的问题。第四,后端对接不绑定单一云服务,底层走 OTLP 标准协议,当前支持阿里云 ARMS,后续可迁移到其他兼容 OTLP 的后端。第五,支持高危行为安全审计,通过全量操作日志和异常检测算法识别越权访问、恶意提示词注入等可疑行为。
加载中...