文章给出的参考架构以 AI Agent 为中心,配合以下关键组件:
- API 网关:承接用户流量,作为进入 Agent 系统的入口。
- AI 网关(Higress):统一代理 Agent 与多模型/多 MCP 之间的调用,提供 token 限流、协议转换、LLM 缓存、向量检索、MCP 认证与动态发现、安全策略等能力。
- Nacos:私有化的 MCP 注册中心和动态 Prompt 管理中心,帮助企业内部管理和运维 MCP 服务,支持健康检查、版本管理。
- Apache RocketMQ:面向长周期、多轮交互的异步化改造,把 session 建模为消息 topic,实现类似「断点续传」的状态恢复,避免中断后重跑 GPU。
- 数据库/向量数据库:提供 Agent 所需的结构化数据和向量检索能力。
- 可观测性:以 OpenTelemetry 为标准,通过 LoongSuite 探针采集全链路数据到可观测平台,做监控、诊断、评估。
开发框架侧则由 Spring AI Alibaba 等承担 Agent 抽象、workflow/多 Agent 编排、垂直场景(JManus、Deep Research、Data Agent)等能力。