OBI 在用户态维护一个按 trace ID 索引的累积缓冲区,逐事件重建流式响应。以 Anthropic 流式为例,message_start 创建会话上下文,content_block_start 开启内容块,content_block_delta 追加 token,message_delta 携带最终 usage,最后输出一条与非流式 API 完全等价的 OTel Span。这样即便一次对话被拆成几十个 SSE 事件,OBI 也能实时累积精确算出 input/output token 数量与 TTFT,而不是等请求结束再猜。




