前端学 LLM

进阶版：LLM 应用工程专题手册

进阶版不是基础概念的重复讲解，也不是按技术名词堆出来的教程。它的定位是：问题场景驱动的 LLM 应用工程专题手册。

每个专题都要从真实业务问题开始，而不是从“我要用 RAG”“我要做 Agent”“我要接一个模型”开始。读者应该先学会判断问题是否值得工程化，再决定使用简单 prompt、工作流、检索、工具调用、评估系统、人工确认或更完整的 LLM 应用架构。

进阶版解决什么问题

基础版回答的是“LLM 应用开发有哪些基础系统”。进阶版回答的是：

  • 一个业务场景到底是不是 LLM 问题？
  • 这个问题属于分类、抽取、生成、检索、决策辅助、自动执行，还是多步骤协作？
  • LLM 方案带来的收益是否覆盖延迟、成本、稳定性、可解释性和维护成本？
  • 什么时候一个清晰 prompt 就够了？
  • 什么时候必须引入上下文工程、结构化输出、RAG、工具调用、工作流、评估、权限和审计？
  • 如何把 LLM 能力设计成可上线、可观测、可回滚、可持续迭代的产品系统？

进阶版的重点不是展示“模型能做什么”，而是建立一套工程判断：在具体业务约束下，为具体问题选择足够简单、足够可靠的 LLM 方案。

专题地图

1. LLM 应用架构

从真实业务流程出发，判断一个需求是否应该进入 LLM 应用架构设计。重点讨论业务目标、任务边界、输入输出、系统分层、上下文来源、状态管理、人工参与、失败恢复和可观测性，帮助读者区分 prompt 脚本、嵌入式 copilot、工作流系统和完整 LLM 应用平台。

2. Prompt Engineering 进阶

讨论 prompt 在工程系统中的真实职责，而不是把 prompt 当成万能补丁。重点覆盖任务拆解、上下文组织、示例选择、结构化输出、约束表达、提示词版本管理、失败样本回归和 prompt 与代码边界，说明什么时候一个清晰 prompt 已经足够，什么时候继续堆 prompt 只是在掩盖系统设计问题。

3. RAG 检索增强生成

面向企业文档、产品手册、合同、政策、客服知识库和业务知识库等场景。重点从问题类型判断是否需要 RAG，并讨论文档治理、切分策略、索引设计、召回与重排、引用生成、权限过滤、知识更新、评估集建设，以及普通搜索、长上下文、结构化查询和向量检索之间的取舍。

4. 工具调用工程

讨论 LLM 何时可以调用工具、读取系统或执行操作。重点覆盖 tool calling、函数参数设计、权限控制、幂等性、用户确认、错误恢复与操作审计。生产系统应优先追求可解释、可观测、可回滚，而不是默认追求自治程度。

5. Agent 工程

讨论 Agent Loop 的架构设计与执行模式，重点覆盖 workflow 与 agent 的边界、observe/plan/act/verify/recover 循环、失败恢复、状态管理与可评估性。

6. 多 Agent 架构设计

讨论何时需要多个 Agent，如何选择 Supervisor、Agent-as-Tool、流水线协作和多角色评审，并处理上下文隔离、冲突仲裁、成本预算和协作评估。

7. LLM 评估体系

把“感觉回答不错”变成可持续迭代的质量系统。重点覆盖任务指标、离线评测集、黄金样本、人工标注、自动评估、回归测试、线上反馈、失败归因、安全用例、成本和延迟指标，以及评估结果如何反向驱动 prompt、检索、工具和产品流程迭代。

8. LLMOps / 生产化

讨论 LLM 应用从 demo 到生产系统必须具备的工程能力。重点覆盖模型选型与路由、配置和提示词版本管理、灰度发布、监控告警、日志和追踪、缓存、降级、成本归因、SLA、失败回放、回滚机制，以及模型、数据、评估集和业务流程共同演进的运营机制。

9. 安全与合规

把 LLM 视为不可信执行者纳入系统边界。重点覆盖 prompt injection、越权检索、数据泄露、敏感信息处理、日志脱敏、权限隔离、危险操作拦截、人工确认、审计追踪、合规留痕和供应商风险，帮助读者在业务收益和风险边界之间做明确决策。

10. LLM 产品化专题

讨论 LLM 能力如何进入真实产品，而不是停留在聊天框或演示页面。重点覆盖用户场景选择、人机协作界面、引用与解释、撤销与确认、批处理、反馈闭环、定价和成本结构、产品指标、组织协作，以及如何把 LLM 能力包装成可理解、可信任、可持续运营的产品功能。

关键概念深度对比：Tool / MCP / Agent / A2A / Skill

进阶篇需要重点区分这些容易混用的概念：

概念本质解决的问题典型例子
Tool动作能力“能做什么动作”readFile、searchWeb、runCommand
MCP工具接入协议“工具怎么标准化接入”用 MCP Server 暴露文件、搜索、数据库能力
Agent执行主体“谁负责理解目标、选工具、推进任务”Research Agent、Code Agent
A2AAgent 间通信协议“多个 Agent 怎么通信协作”任务分发、状态同步、产物传递
Skill文字版操作规程“Agent 按什么方法执行任务”排障 playbook、评审 checklist

一句话：Skill 是 Agent 的操作规程；Tool 是 Agent 的动作能力；MCP 是工具连接标准；A2A 是 Agent 连接标准。

工程上可按“主体-能力-协议-协作”四层理解：

  • 主体层：Agent（做决策与执行）。
  • 能力层：Tool（提供具体动作）。
  • 接入层：MCP（规范 Tool 与上下文接入）。
  • 协作层：A2A（规范 Agent 间通信）。
  • 方法层：Skill（约束 Agent 的执行策略与步骤）。

文章编写方法

具体文章编写遵循“提出问题、分析问题、列举方案、决策判断、结论收束”的思路：

  1. 提出问题：从真实业务场景进入，说明谁在什么流程里遇到什么问题，输入、输出、频率和失败代价是什么。
  2. 分析问题：判断问题类型、约束条件、质量标准、数据状态、人工流程、系统边界和收益成本。
  3. 列举方案：给出可行方案阶梯，包括 prompt、结构化输出、RAG、工具调用、workflow、agent、评估、人审和运营机制。
  4. 决策判断：比较不同方案在准确性、延迟、成本、稳定性、安全、可维护性和上线复杂度上的取舍，明确推荐路径和不推荐路径。
  5. 结论收束：把文章落回工程选择，说明在什么条件下用最小方案，在什么条件下必须进入更完整的生产化设计。

每篇专题必须先做问题分析

每篇进阶版文章在进入方案之前，都必须先回答这些问题：

  • 具体业务场景：谁在什么流程里遇到什么问题？输入、输出和使用频率是什么？
  • 问题类型：这是分类、抽取、改写、检索、生成、判断、规划，还是执行？
  • 影响收益：如果解决了，能节省多少时间、减少多少错误、提升多少转化或覆盖多少长尾需求？
  • 方案成本：需要哪些数据、系统接入、评估、人审、权限、安全和运营成本？
  • 简单 prompt 是否足够：如果失败代价低、人工可复核、输入稳定，是否只需要 prompt 模板和少量校验？
  • 何时需要工程方案：当问题涉及高风险决策、批量自动化、私有知识、权限、稳定 SLA、可追溯要求或持续迭代时，必须进入工程化设计。

文章的结论应该帮助读者做选择，而不是让读者默认使用更复杂的技术。

推荐学习方法

  1. 先读场景，不急着看技术方案。把自己代入业务流程，写出输入、输出、失败样本和人工处理方式。
  2. 再判断问题类型。不同问题类型对应不同工程边界，生成类问题、检索类问题和执行类问题不能用同一套方案粗暴处理。
  3. 估算收益和成本。收益不清楚时，不要急着上 RAG、Agent 或复杂平台；先做最小可验证方案。
  4. 按方案阶梯推进。优先从 prompt、schema、校验、人工复核开始，再逐步引入检索、工具、工作流、评估和权限系统。
  5. 每读完一篇专题，都写一张选型表。把“为什么不用更复杂方案”也写出来，这是 AI 应用工程里很重要的能力。
  6. 最后用工程清单复盘。检查上线所需的日志、评估、成本、延迟、安全、回滚和运营机制是否闭环。

进阶版的学习目标不是记住更多术语，而是形成一种稳定判断：面对一个 AI 需求，能够说清楚它的问题类型、可行路径、风险收益、最小方案和工程化边界。