综合大作业应该如何验收和评估
AI Native App 综合大作业不是做一个完整项目,而是写一份简单的 AI Native App PRD。
因此验收重点也不应该是功能数量、页面数量或 Demo 完整度,而是看这份 PRD 有没有体现你对 LLM 应用基础系统的理解:模型调用、Prompt、上下文、RAG、工具、Workflow、Agent、安全、评估、成本和 AI UX 如何组合,哪些应该做,哪些暂时不该做。
先看选题边界
一个合格选题应该足够具体。
好的选题通常长这样:
- 面向团队文档的 AI 问答助手。
- 面向客服工单的总结与回复草稿助手。
- 面向会议纪要的行动项提取助手。
- 面向长文档的 AI 阅读和引用改写助手。
- 面向前端代码库的组件问答助手。
不太适合作为综合大作业的选题:
- 做一个 ChatGPT Clone。
- 做一个万能 Agent。
- 做一个完整 AI Workspace。
- 做一个什么都能上传、什么都能问、什么都能执行的 AI 平台。
这些题目太大,容易掩盖系统判断。综合大作业更需要一个边界清楚的小场景。
四层验收模型
可以用四层模型验收这份 PRD:
这四层的顺序很重要。场景不清楚,系统设计就会发散;系统判断不清楚,安全和成本就没有落点;没有评估方式,PRD 就只剩愿景。
第一层:场景边界
PRD 首先要说清楚:
- 用户是谁。
- 用户原来的工作流是什么。
- AI 介入哪个环节。
- 输入是什么。
- 输出是什么。
- 用户如何使用输出。
- 第一版明确不做什么。
例如:
面向内部产品团队的会议纪要助手。用户上传一段会议文字记录,系统提取结论、待办、负责人和截止时间,生成可编辑草稿。第一版不自动创建任务,不发送通知,不处理音频转写,只处理用户粘贴的文本。
这比“做一个会议 AI 助手”更适合验收。
第二层:系统判断
PRD 需要说明这个场景会用到哪些 LLM 应用基础系统。
可以逐项判断:
重点不是把每个系统都写成“需要”,而是能解释取舍。
第三层:运行边界
LLM 应用的 PRD 不能只写成功路径,还要写运行边界:
- 模型输出格式错了怎么办。
- 用户输入太长怎么办。
- 检索不到依据怎么办。
- 工具调用失败怎么办。
- 结果不确定时如何提示用户。
- 哪些操作必须用户确认。
- 哪些数据不能发送给模型。
- 如何记录 token、耗时、错误和成本。
如果 PRD 只描述“AI 生成一个结果”,说明还停留在功能想象;如果能描述失败、权限、成本和恢复,才开始进入工程系统设计。
第四层:评估方式
PRD 至少要给出一个最小评估方案。
可以很简单:
- 准备 10 到 20 条典型输入样例。
- 为每条样例写出期望输出要点。
- 检查输出是否完整、准确、格式稳定。
- 标记失败类型:遗漏、幻觉、格式错误、引用错误、越权、拒答错误。
- 每次改 Prompt、模型或上下文策略后重新跑一遍。
不同题目的评估重点不同:
推荐评分表
这张表不是为了把作业变复杂,而是防止 PRD 写成“我要做一个很智能的产品”。
最终交付物
综合大作业最终只需要交付:
- 一份 1 到 3 页的 AI Native App PRD。
- 一张系统关系图或数据流图。
- 一个最小评估表,包含 10 条左右样例和验收维度。
如果这三件事能讲清楚,就已经达到这个系列课程的收束目的:不是完成一个大项目,而是理解 LLM 应用的基础系统如何在一个具体场景里组合起来。