可靠性、幻觉与评估体系

这个主题讨论 AI 应用为什么必须做可靠性设计和评估。幻觉不是一个独立话题，它和 prompt、context、tool、retrieval 都有关。

AI 应用上线后，真正难的是持续知道它有没有变差。模型升级、Prompt 修改、检索库变化、工具失败和业务数据更新，都可能让原本可用的功能退化。这个阶段会把“感觉回答还行”升级为“用评估集、指标和反馈闭环管理质量”。

学习目标

完成这个主题后，你应该能够：

Hallucination 不是单一故障，而是一组输出不可靠现象。它可能来自模型知识缺失，也可能来自上下文错误、工具结果错误或指令冲突。

Groundedness 衡量回答是否有足够依据。对 RAG 或资料问答来说，回答不仅要看起来正确，还要能被给定来源支持。

Eval 是对 AI 系统行为的持续测试。它不只测试 Prompt，也测试模型、上下文组装、工具调用、检索质量和输出格式。

Golden Dataset 是一组稳定的代表性测试用例，包含输入、期望行为、参考答案或评分标准。它是回归测试的基础。

LLM-as-judge 用另一个模型做自动评分，适合开放式回答评估，但需要评分标准、抽样人工复核和偏差控制。

这张图说明 Eval 不是一次性测试报告，而是持续改进 AI 应用的闭环。线上失败样例应该进入评估集，修复也必须经过回归测试后再发布。

AI 出错原因：概率生成、上下文不足、指令冲突、知识缺失、工具失败、检索错误。
幻觉类型：factual hallucination、citation hallucination、reasoning hallucination、tool hallucination。
降低幻觉：明确边界、引用来源、RAG、Tool validation、Structured output、Human review。
AI Eval：判断输出是否符合预期、Prompt 是否退化、模型是否可替换、系统是否稳定。
Eval 类型：manual eval、rule-based eval、LLM-as-judge、golden dataset、online feedback。
Eval 指标：accuracy、completeness、relevance、groundedness、format validity、safety、latency、cost。