LLMOps / 生产化专题总览
LLM 应用进入生产环境后，问题会从“模型能不能答出来”变成“线上系统能不能持续、可控、可解释地答出来”。
同一个 prompt 在测试环境里表现稳定，不代表它能承受真实用户、真实数据、真实并发和真实失败。线上会出现输入分布变化、供应商限流、工具超时、成本突增、版本回退困难、用户反馈无法归因、错误答案无法复盘等问题。LLMOps 的价值，就是把这些不可见的不确定性变成可观测、可评估、可回滚、可持续改进的工程系统。
本专题包含三篇文章：
1. 提出问题
先看一个企业客服和知识库助手。客服在工单后台输入用户问题，系统会读取客户权限、检索内部文档、调用模型生成回复草稿，有时还会调用 CRM 或订单工具补充实时信息。回复默认由客服确认后发送，部分分类、标签和摘要会写回工单系统。
试点阶段每天只有几十次调用，团队靠人工看日志和客服口头反馈就能判断效果。正式上线后，请求量增长到每天数万次，覆盖不同租户、不同业务线、不同语言和不同权限。此时问题开始变复杂：某些客户的成本异常高，某个 prompt 版本让引用错误率上升，某个模型在高峰期 TTFT 变慢，某个工具超时导致答案缺少实时状态，但最终用户只看到“AI 没那么好用”。
没有 LLMOps 时，团队只能凭“最近感觉变差了”排查；有 LLMOps 后，团队至少能回答：哪个版本、哪个模型、哪个租户、哪个工具、哪类输入导致了问题。
2. 分析问题
LLMOps 不是单独的运维模块，而是贯穿 AI 任务的生产控制面。
生产化风险主要有五类。
模型能提升信息处理效率，但不能替代生产系统的责任边界。上线后的关键不是让模型“更聪明一点”，而是让每次调用都能被观察、解释、控制和复盘。
3. 列举方案
LLMOps 的建设也应该从轻到重。
第一层是基础日志。至少记录请求 ID、用户或租户、功能入口、模型、token、耗时、错误码、prompt 版本和输出状态。没有这些字段，后续所有优化都只能靠猜。
第二层是 trace。一次 AI 请求通常包含权限校验、上下文组装、检索、工具调用、模型生成、结构化解析和持久化。trace 要把这些阶段拆开，才能知道慢、贵、错分别发生在哪里。
第三层是监控告警。监控不只看服务 5xx，还要看 TTFT、完整耗时、错误率、fallback 率、缓存命中率、单位任务成本、人工采纳率、差评率和引用缺失率。
第四层是版本管理。prompt、模型、参数、schema、检索配置、工具契约和评估集都要有版本。只记录代码版本不够，因为线上质量变化常常来自非代码资产。
第五层是灰度发布。任何影响质量、成本、延迟或权限的变更，都应该先离线评估，再小流量灰度，最后扩大范围，并保留快速回滚路径。
第六层是路由降级。生产系统要能在成本、延迟、供应商故障和工具不可用时切换策略：缓存命中、轻量模型、关闭实时工具、返回部分结果、异步处理或转人工。
第七层是反馈闭环。用户点赞、点踩、人工修改、客服采纳、事故样本和评审结论，都要进入样本库和回归测试，成为下一次发布的依据。
4. 决策判断
常见反模式有四种。
第一种是只记录最终 prompt 和 answer。这样看似能复盘，实际无法知道检索召回了什么、工具返回了什么、模型参数是什么、缓存是否命中，也无法定位错误来自哪一层。
第二种是把 prompt 当配置随手改。prompt 一旦影响生产质量，就应该像代码和接口一样有版本、评审、评估、灰度和回滚。
第三种是没有成本归因就谈优化。总账单下降不代表业务成本下降，便宜模型导致人工修改量上升时，真实任务成本可能更高。
第四种是把用户反馈等同于满意度数字。点踩只是入口，真正有价值的是把失败样本归因到检索、生成、工具、权限、版本或产品预期。
5. 结论收束
LLMOps 的最低目标不是搭一个复杂平台，而是让生产 AI 功能具备四个能力：看得见、说得清、退得回、改得动。低风险试点可以从日志和人工抽样开始；一旦进入核心业务流程，就必须补齐 trace、监控、版本、降级、回滚和反馈闭环。
上线前检查清单：
- 场景边界：目标用户、业务流程、输入来源、输出消费者和失败代价是否明确。
- 日志字段：请求 ID、租户、功能、prompt 版本、模型、token、耗时、错误和输出状态是否记录。
- Trace 分段：权限、上下文、检索、工具、模型、解析、持久化是否能分段定位。
- 监控指标：成功率、错误率、TTFT、总耗时、成本、缓存命中、fallback、人工采纳和差评是否可看。
- 成本归因：是否能按租户、功能、任务、模型、版本和重试拆分成本。
- 版本管理：prompt、模型、参数、schema、检索配置、工具契约和评估集是否有版本。
- 发布回滚：是否支持离线评估、灰度、开关、回滚和事故复盘。
- 降级策略：模型慢、工具失败、成本超预算、上下文过长时是否有 fallback。
- 反馈闭环：用户反馈、人工修改、事故样本是否进入标注、评估和下一次发布。
- 安全合规：日志脱敏、权限隔离、审计记录和数据保留周期是否明确。