综合大作业应该如何验收和评估

AI Native App 综合大作业不是做一个完整项目,而是写一份简单的 AI Native App PRD。

因此验收重点也不应该是功能数量、页面数量或 Demo 完整度,而是看这份 PRD 有没有体现你对 LLM 应用基础系统的理解:模型调用、Prompt、上下文、RAG、工具、Workflow、Agent、安全、评估、成本和 AI UX 如何组合,哪些应该做,哪些暂时不该做。

先看选题边界

一个合格选题应该足够具体。

好的选题通常长这样:

  • 面向团队文档的 AI 问答助手。
  • 面向客服工单的总结与回复草稿助手。
  • 面向会议纪要的行动项提取助手。
  • 面向长文档的 AI 阅读和引用改写助手。
  • 面向前端代码库的组件问答助手。

不太适合作为综合大作业的选题:

  • 做一个 ChatGPT Clone。
  • 做一个万能 Agent。
  • 做一个完整 AI Workspace。
  • 做一个什么都能上传、什么都能问、什么都能执行的 AI 平台。

这些题目太大,容易掩盖系统判断。综合大作业更需要一个边界清楚的小场景。

四层验收模型

可以用四层模型验收这份 PRD:

这四层的顺序很重要。场景不清楚,系统设计就会发散;系统判断不清楚,安全和成本就没有落点;没有评估方式,PRD 就只剩愿景。

第一层:场景边界

PRD 首先要说清楚:

  • 用户是谁。
  • 用户原来的工作流是什么。
  • AI 介入哪个环节。
  • 输入是什么。
  • 输出是什么。
  • 用户如何使用输出。
  • 第一版明确不做什么。

例如:

面向内部产品团队的会议纪要助手。用户上传一段会议文字记录,系统提取结论、待办、负责人和截止时间,生成可编辑草稿。第一版不自动创建任务,不发送通知,不处理音频转写,只处理用户粘贴的文本。

这比“做一个会议 AI 助手”更适合验收。

第二层:系统判断

PRD 需要说明这个场景会用到哪些 LLM 应用基础系统。

可以逐项判断:

系统是否需要说明
LLM API用哪个模型能力,输入输出是什么
Prompt指令、上下文、输出格式如何组织
Structured Output是否需要 JSON、Schema 或字段校验
Context哪些信息进入上下文,优先级是什么
Memory是否需要长期记忆,为什么
RAG是否需要检索外部文档,为什么
Tool Calling是否需要调用业务系统或外部 API
Workflow是否需要固定步骤、审批和状态流转
Agent是否真的需要自主规划,为什么
Eval用什么样例判断输出质量
Gateway是否需要模型路由、日志、成本记录
Security哪些数据、权限和动作需要限制

重点不是把每个系统都写成“需要”,而是能解释取舍。

第三层:运行边界

LLM 应用的 PRD 不能只写成功路径,还要写运行边界:

  • 模型输出格式错了怎么办。
  • 用户输入太长怎么办。
  • 检索不到依据怎么办。
  • 工具调用失败怎么办。
  • 结果不确定时如何提示用户。
  • 哪些操作必须用户确认。
  • 哪些数据不能发送给模型。
  • 如何记录 token、耗时、错误和成本。

如果 PRD 只描述“AI 生成一个结果”,说明还停留在功能想象;如果能描述失败、权限、成本和恢复,才开始进入工程系统设计。

第四层:评估方式

PRD 至少要给出一个最小评估方案。

可以很简单:

  • 准备 10 到 20 条典型输入样例。
  • 为每条样例写出期望输出要点。
  • 检查输出是否完整、准确、格式稳定。
  • 标记失败类型:遗漏、幻觉、格式错误、引用错误、越权、拒答错误。
  • 每次改 Prompt、模型或上下文策略后重新跑一遍。

不同题目的评估重点不同:

题目类型评估重点
文档问答是否基于证据,引用是否正确,无法回答时是否拒答
工单助手摘要是否准确,回复是否符合语气和业务规则
会议助手行动项、负责人、截止时间是否抽取正确
代码问答是否定位到相关文件,建议是否可执行
Copilot改写是否保留原意,用户是否能接受或撤销

推荐评分表

维度权重合格标准
场景边界25%用户、任务、输入、输出、不做什么都清楚
系统判断30%能解释需要哪些基础系统,以及为什么不需要其它系统
运行边界25%有权限、安全、成本、失败状态和用户确认设计
评估方式20%有样例、指标和失败类型分类

这张表不是为了把作业变复杂,而是防止 PRD 写成“我要做一个很智能的产品”。

最终交付物

综合大作业最终只需要交付:

  1. 一份 1 到 3 页的 AI Native App PRD。
  2. 一张系统关系图或数据流图。
  3. 一个最小评估表,包含 10 条左右样例和验收维度。

如果这三件事能讲清楚,就已经达到这个系列课程的收束目的:不是完成一个大项目,而是理解 LLM 应用的基础系统如何在一个具体场景里组合起来。