Python 作为 AI 时代的编程语言,在近年来得到了广泛应用,特别是 LLM(大语言模型)领域几乎所有热门项目都使用 Python 开发,如 LangChain、Llama-index、Dify、PromptFlow、OpenAI SDK、Dashscope 等。然而 LLM 应用的落地面临一个共性挑战:LLM 在自然语言处理方面表现出令人印象深刻的能力,但其内部机制仍然不明确,这种缺乏透明度的做法给下游应用带来了不必要的风险,导致 LLM 应用"落地难"。LLM 可观测性能够为模型可解释性提供必要的数据支撑——对于研究人员和开发人员来说,可观测能力可以帮助识别意外的偏见、风险和性能改进点;对于运维人员来说,可以监控 Token 消耗、prompt 链路、模型响应时间等关键指标。为了增强对 Python 应用,特别是 Python LLM 应用的可观测性,阿里云推出了 Python 探针,旨在解决 LLM 应用"落地难、难落地"等问题,提供从微服务调用到大模型 Trace 的端到端追踪能力。




