AI 应用的可观测性要解决哪三大痛点？关键指标（TED、TTFT、TPOT）分别是什么？

AI 应用可观测性主要解决三大痛点：用得起来（性能/报错定位）、用得省（成本/token 消耗）、用得好（质量评估）。

数据采集侧通过 OpenTelemetry 探针（如 LoongSuite）挂载到 Java、Python 应用以及 vLLM/SGLang 推理框架，采集全链路 tracing、指标、日志（含输入输出、token、tools）以及 GPU 使用率等。

关键指标从传统的 **RED（Request/Error/Duration）**升级为 TED（Token/Error/Duration），Token 消耗成为新黄金指标之一。此外模型推理还需重点关注：

• TTFT（Time to First Token）：从 input 送入到第一个 token 输出的耗时，决定交互流畅度。
• TPOT（Time Per Output Token）：首包之后平均每 token 的耗时，反映 decode 阶段性能。
• KV Cache 命中率、GPU 利用率、吞吐：影响推理效率和成本。

在评估层面则关注 Planning（任务拆解质量）、工具调用（是否选对 tool、参数是否准确）、RAG 召回质量、以及准确性/偏见/毒性等模型输出维度，形成从开发到线上持续追踪的循环。