学习如何设计生产级 AI 智能体系统

智能体 AI 的"系统设计入门"——涵盖架构、模式、权衡与真实的生产工程实践

万事皆有取舍。在智能体 AI 中，取舍在于：自主性 vs 可控性、成本 vs 质量、延迟 vs 准确率，以及简洁性 vs 能力。

本 README 是入门指南——概览 + 面试准备。想要带代码、决策树和真实模式的生产级深度内容，请查看 /resources/ 文件夹：

为什么要学习智能体 AI 系统设计？

2026 年智能体 AI 职位发布同比增长 280%，达到约 9 万个美国职位（Stanford AI Index 2026）。预计到 2026 年底，40% 的企业应用将集成任务专用的 AI 智能体（Gartner）。美国智能体 AI 工程师的薪资带为底薪 $185K–$320K。

然而超过 40% 的多智能体 AI 项目失败了（MAST 分类，NeurIPS 2025）。差距不在于做 demo——而在于构建能在规模下可靠运行的系统。

这与传统系统设计有什么不同？

适合谁？

• 转向 AI 工程的后端/软件工程师
• 准备系统设计面试的 AI 工程师
• 构建生产级智能体系统的工程师
• 为组织评估智能体架构的架构师

根据你有多少时间，决定如何使用这份资源：

Anthropic、Cohere、Mistral 和 FAANG 智能体岗位的面试遵循 4 步框架（45-60 分钟）：

不要直接跳到架构。在这里花 5-10 分钟。

• 智能体应该做什么？（功能需求）
• 它不能做什么？（范围边界）
• 用户是谁？（终端用户、内部工具、API 调用方）
• 延迟预期是多少？（秒级？分钟级？异步？）
• 准确率要求多高？（可以错 5%？还是 0.1%？）
• 哪些动作需要人工审批？（金融、生产、面向客户）
• 规模多大？（日用户数、每秒请求数、每月 Token 数）
• 成本预算是多少？（单请求、单用户、每月）
• 有哪些合规约束？（PII、HIPAA、SOC2、GDPR）

估算用量（信封背面估算）：

用户数：10,000 日活
每用户每天交互数：5
每天智能体运行数：50,000
每秒智能体运行数：~0.6
每次运行 Token 数（平均）：4,000（输入）+ 1,000（输出）= 5,000
每天 Token 数：2.5 亿
按 $3/M 输入 + $15/M 输出计算每天成本：
  输入：2 亿 × $3/M = $600
  输出：5,000 万 × $15/M = $750
  总计：约 $1,350/天 → 约 $40K/月

画出典型的智能体架构：

用户 → API 网关 → 编排智能体
                         ├── 规划器
                         ├── 工具执行器 → [工具：搜索、代码、API、数据库]
                         ├── 记忆管理器 → [短期 | 长期 | 情景]
                         ├── LLM 路由器 → [主 LLM | 快速 LLM | 专用模型]
                         ├── 护栏引擎
                         └── 响应组装器 → 用户
                              ↕
                    可观测性（Langfuse/LangSmith/OTel）

解释每个组件存在的理由，以及去掉它会发生什么。

这里需要深入。对每个核心组件：

• 智能体模式选择——ReAct？Plan-and-Execute？为什么？
• 工具设计——哪些工具？什么 schema？幂等性？
• 记忆架构——哪些类型？用什么存储？淘汰策略？
• LLM 路由——哪个步骤用哪个模型？成本影响？
• 安全——护栏放在哪里？拦截什么？

必要时展示伪代码或 API 契约。

• 识别瓶颈——规模放大 10 倍时哪里会崩？
• 成本优化——模型路由、缓存、Token 预算
• 故障模式——什么会出问题？如何发现？
• 可观测性——追踪什么、度量什么、告警什么？
• 人工介入——哪里需要人参与闭环？

来自 Cohere 面试的专业建议： 他们还有展示环节——你展示一个过去的项目，面试官会就设计选择、失败的方案和替代方案交叉质询。准备一个 15 分钟的演讲，讲你最拿得出手的项目。

下面每个主题都是简要概览。点击深入链接查看带代码、决策树和真实模式的生产级内容。

核心问题： 用哪种智能体模式？→ 模式决策树

单智能体 vs 多智能体： 默认用单智能体。只有当你测出了单智能体的性能上限、任务能分解为不同领域，并且你有协调基础设施时，才上多智能体。真实案例：$8/次查询的多智能体 → $0.40/次查询的单智能体，准确率差异 <1%。

智能体模式一览：

框架一览：

完整对比：→ 框架对比

核心问题： 用哪种记忆类型 + 存储？→ 记忆概览

快速基准： LongMemEval 上 Mem0 49% vs Zep 63.8% vs Hindsight 91.4%。

核心问题： 如何为智能体设计可靠的工具？→ 工具概览

四个不可妥协项：单一职责 · 幂等性 · 错误契约 · Schema 设计

可靠性：熔断器 · 重试策略

分类：代码执行 · 浏览器工具 · API 集成

核心问题： 如何构建生产级 RAG 流水线？→ RAG 概览

流水线：查询 → 分块 → 混合检索 → 重排 → 生成 → 引用

另见：查询改写 · RAG 故障模式

核心问题： 如何管理进入上下文窗口的内容？→ 上下文工程概览

关键技术：提示词缓存（Anthropic 节省 90%，OpenAI 节省 50%）· 动态注入 · 版本控制

MCP 连接智能体与工具。A2A 连接智能体与其他智能体。两者互补。

深入阅读：MCP · A2A · MCP vs A2A

核心问题： 如何防止智能体做出有害行为？→ 安全概览

4 层分类：内容 → 评估 → 沙箱 → 动作

深入阅读：直接注入 · 间接注入 · 防御架构 · NeMo Guardrails · E2B 沙箱 · 欧盟 AI 法案

核心问题： 如何了解我的智能体在生产环境中做了什么？→ 可观测性概览

平台：Langfuse · LangSmith · OpenTelemetry · 对比

监控内容：指标 · 告警设计 · 智能体追踪

核心问题： 我怎么知道智能体是否正常工作？→ 评估概览

深入阅读：RAGAS · LLM-as-Judge · 轨迹评估 · CI 评估门禁 · 红队测试

核心问题： 如何在规模下控制智能体成本？→ 成本概览

核心洞察：Token 成本占智能体总成本的 70-90%。团队往往低估 5-10 倍。

深入阅读：Token 预算 · 模型路由 · 语义缓存 · 真实数据

核心问题： 智能体的哪些动作需要人工批准？→ HITL 概览

深入阅读：审批关卡 · 升级策略 · 置信度阈值

核心问题： 生产级智能体系统会出什么问题？→ 故障模式概览

关键数据：7 个框架、1,642 条轨迹中，故障率 41-86.7%（MAST，NeurIPS 2025）。

深入阅读：MAST 分类（14 种模式） · 缓解手册

架构与模式：

1. 什么情况下你不会用智能体？
2. 对比 LangGraph vs CrewAI vs AutoGen——分别在什么场景下选哪个？
3. 如何防止智能体陷入无限循环？
4. 工作流和智能体的区别是什么？
5. 设计一个主 LLM 服务商宕机时的兜底策略。

记忆与上下文： 6. 为一个跨会话记住用户偏好的客服智能体设计记忆架构。 7. 长运行智能体中如何处理上下文窗口溢出？ 8. 什么情况下用 Mem0、Zep，或直接用 pgvector？

安全与可靠性： 9. 一个处理用户提交文档的智能体，如何防范提示词注入？ 10. 多智能体系统中会出现哪些单智能体不会出现的问题？ 11. 详细讲讲你会如何为生产环境中执行代码的智能体构建护栏。 12. 智能体在测试中表现正常，但生产中静默失败。如何诊断？

成本与扩展： 13. 智能体每天运行 5 万个会话时如何控制成本？ 14. 如何针对具体问题在 RAG、微调、提示词工程之间做选择？ 15. 估算一个服务 1 万日活用户的客服智能体的月成本。

评估： 16. 如何评估智能体是否正常工作？ 17. 离线评估和在线评估的区别是什么？ 18. 如何构建一个能拦截劣质提示词变更的 CI 评估门禁？

• Anthropic — Building Effective Agents、Claude Agent SDK
• LangChain — LangGraph、LangSmith、LangChain
• donnemartin/system-design-primer — 本资源借鉴的其结构和格式
• MAST 作者 — Mert Cemri、Melissa Z. Pan、Shuyi Yang 等
• Mem0 — 记忆基准与研究
• 本文档中链接的所有来源

基于 MIT License 授权

最后更新：2026 年 5 月

参考：HimClix/agentic-ai-system-design-primer