LoongSuite 的 Token 级推理观测通过什么样的语义建模来定位性能与精度问题？

推理引擎本质上是一个无限循环执行 Iteration 的系统：每个迭代按调度策略选取一批请求组成 Batch 批量执行，被选中的请求通常在这一迭代内生成一个 Token，然后进入下一个迭代。

LoongSuite GenAI SemConv 面向 Token 粒度定义了两类关键属性。性能类属性采集每个 Token 进入和退出迭代的时间戳，可推演出调度时间、实际执行时间和用户感知的总耗时；同时记录该 Token 所在 Batch 的总请求数与总 Token 数，用于刻画批处理负载对生成耗时的影响。精度类属性则采集每个 Token 对应的 Top-K 候选 Token 概率分布，用于判断模型输出质量：候选 Token 不符合预期通常代表模型质量差，若期望的 Token 不在 Top-K 中则更可能是采样参数如温度设置不合理。

基于这套标准数据，团队打造了"引擎显微镜"产品：Token 分析像高倍镜聚焦单请求的 Token 生成步骤耗时和 Top-K 概率，引擎并发剖析像广角镜头展示所有请求的并发、竞争与协作，帮助 SRE/引擎/业务同学 10 倍提速稳定性问题定界。