大模型可观测 APP 是阿里云可观测团队为大模型应用及推理服务提供的全栈可观测平台,覆盖性能、稳定性、成本和安全。其中的评估系统是识别和评估模型应用潜在安全隐患的模块,内置 20+ 评估模板,覆盖语义理解、幻觉、安全性等场景,安全检测除内容安全外还包含大模型基础设施安全(MCP 工具链安全)。
针对 MCP 工具投毒,评估任务的工作流程为:
- 数据采集:采用 Python 探针采集模型交互过程中的请求、响应,以及 MCP 工具信息(工具名称、调用参数、工具描述)到 SLS Logstore。
- 评估模板:内置 MCP 工具评估模板,检测工具中是否有暗示或明确提到读取/传输敏感数据、执行可疑代码、引导用户执行危险系统操作或上传数据等行为。
- 任务创建:在控制台选择 MCP 工具投毒检测模板,填写待评估字段即可创建定时评估任务。系统定时将待评估字段与模板组成评估 prompt 交给评估模型,一旦检测到异常行为(如不当文件访问、数据操纵请求),即生成风险评分和解释。




