多模态工程专题总览
多模态应用最容易在 demo 阶段显得很神奇：上传一张图片，模型能描述；上传一份 PDF，模型能总结；输入一句话，系统能生成图片、视频或语音。
但进入真实产品后，问题会变成工程问题：
- 输入文件是否可读、完整、可信？
- 图片、PDF、音频和视频里哪些信息应该被抽取，哪些不能进入模型？
- 结果是给人参考，还是要入库、触发流程或公开发布？
- 成本和延迟是否能支撑高频使用？
- 生成媒体是否安全、合规、可追溯？
- 失败时系统能否解释、降级和复核？
多模态工程不是把所有文件都丢给大模型，而是判断：什么时候简单上传足够，什么时候需要 OCR、切片、抽帧、转写、检索、结构化校验、审核和人工确认组成的工程管线。
场景
假设一个企业服务平台要做“资料理解和素材生成助手”。
使用者包括客服、运营、法务、销售和客户成功。输入可能来自客户工单、合同 PDF、发票照片、产品截图、会议录音、培训视频、品牌手册和活动素材。系统期望输出摘要、字段抽取、风险提示、知识问答、图片改稿建议、宣传海报、口播音频和短视频草稿。
常见流程包括：
- 客服上传用户截图，判断报错原因并生成回复草稿。
- 财务上传发票照片或 PDF，抽取抬头、金额、税号和校验结果。
- 法务上传合同 PDF，定位付款条款、违约责任和异常条款。
- 销售上传会议录音，生成纪要、待办和 CRM 字段。
- 运营上传商品图和活动文案，生成多尺寸海报和短视频草稿。
- 培训团队上传内部视频，生成章节、字幕、知识点和测验题。
最容易失败的样本往往不是“模型不会看图”，而是工程边界不清：
- 扫描 PDF 倾斜、低清、跨页表格断裂，模型总结时漏字段。
- 截图里包含手机号、订单号、内部后台地址，直接进入日志。
- 音频多人重叠、噪声大，转写后把责任人和日期弄错。
- 视频只抽几帧，漏掉关键操作步骤或危险动作。
- 用户要求生成“像某明星代言”的图片或声音。
- 生成结果自动发布，审核人员没有看到版权、肖像和夸大宣传风险。
问题类型
多模态场景不是一个任务，而是一组任务的组合。
适合交给模型的是语义判断、跨模态解释、生成草稿和不确定样本的辅助分析。应该由程序处理的是文件类型、大小、权限、OCR 坐标、时间戳、结构化校验、成本限额、审核状态和发布流转。
必须保留人工确认的部分包括：高金额财务字段、合同风险结论、医疗金融法律建议、对外发布素材、涉及真实人物身份的图片/音频/视频生成。
收益/成本判断
多模态能力的收益很直接：
- 减少人工读文件、看截图、听录音和看视频的时间。
- 把非结构化材料变成可检索、可统计、可入库的数据。
- 提高客服、审核、法务、运营和销售的响应速度。
- 让原本难以规模化的图片、视频和音频处理进入工作流。
- 在创意场景里加快草稿产出和版本迭代。
成本也更明显：
- 文件解析、OCR、抽帧、转写和存储带来额外费用。
- 多模态模型通常比纯文本模型更贵、更慢。
- 输入质量差时，错误会从预处理一路传导到最终答案。
- 媒体文件包含隐私、版权、肖像和品牌风险。
- 生成图片、音频、视频的审核和返工成本高。
- 线上问题需要回放文件、页面、时间戳和模型 trace，观测成本更高。
如果输出只作为人工参考，错误容易发现，使用频率低，可以先用简单上传和轻量提示词。比如内部员工偶尔上传截图，让模型帮忙描述界面异常。
如果输出要进入数据库、财务流程、法务审查、客服自动回复或公开发布，就需要工程管线。此时不能只问“模型能不能看懂”，还要问“文件如何解析、证据如何定位、字段如何校验、结果如何审核、失败如何降级”。
方案阶梯
多模态方案应该从简单到复杂升级。
- 不用 AI：规则、表单、条码识别、传统 OCR、搜索、模板和人工流程是否已经足够。
- 简单上传：用户上传单张图片、短 PDF、短音频，模型直接理解，结果给人参考。
- 预处理 + Prompt：加入压缩、裁剪、OCR、转写、抽帧、脱敏和格式归一。
- Prompt + Schema：字段抽取、风险分类、时间线和审核结论需要稳定结构。
- 检索和证据定位：长 PDF、视频库、知识库问答需要 chunk、metadata、引用和时间戳。
- Workflow：多步骤稳定流程需要解析、模型、校验、重试、人工复核和入库。
- Tool Calling：需要查订单、查合同、写 CRM、发起审批或调用媒体处理服务。
- 生成管线：生图、生视频、音频输出需要提示词治理、生成参数、审核、版本和成本控制。
- Eval + Ops：生产环境必须有样本集、回放、监控、预算、降级和安全审计。
何时简单上传或预处理足够
简单上传适合这些条件：
- 输入短、清晰、样本类型单一。
- 输出只给当前用户阅读，不自动入库或触发流程。
- 用户有能力判断结果是否靠谱。
- 失败代价低，重试或人工处理成本可接受。
- 不涉及隐私、版权、肖像、合规和高风险建议。
轻量预处理适合这些条件：
- 图片只需裁剪、旋转、压缩和基础 OCR。
- PDF 页数少，版式简单，没有复杂表格和跨页结构。
- 音频短，单人说话，噪声低，只需转写和摘要。
- 视频短，只需抽取固定间隔帧和音轨字幕。
这时可以把重点放在上传体验、文件限制、用户确认和基础日志，不必一开始建设复杂管线。
何时需要工程管线
出现以下信号时，应升级：
- 文件长、批量大、格式杂，人工很难逐个检查。
- 输出要进入业务系统、自动路由、搜索索引或报表。
- 需要字段级准确率、引用来源、坐标、页码或时间戳。
- 输入里可能包含隐私、商业机密、未授权素材或真实人物。
- 业务需要稳定 SLA、成本预算、失败重试和人工队列。
- 用户会把生成媒体公开发布或用于广告、销售、培训、合规材料。
工程管线的价值不是显得更复杂，而是把多模态输入从“模型临场发挥”变成可评估、可追溯、可复核的生产流程。
方案选型表
反模式
第一种反模式：把多模态等同于“文件直接上传给模型”。
短文件可以这样起步，但长 PDF、批量图片、录音和视频需要解析、切片、时间戳和证据定位。否则错误很难复盘。
第二种反模式：用更贵模型掩盖输入质量问题。
倾斜扫描件、低清截图、断裂表格、嘈杂音频和抽帧不足，往往不是换模型就能解决。先修预处理和样本质量。
第三种反模式：只评估最终回答，不评估中间产物。
OCR 错、转写错、抽帧漏、chunk 错、审核错都会影响结果。工程上要分别记录和评估。
第四种反模式：没有证据定位，却把输出当事实使用。
合同、票据、报告和视频结论都应该能回到页码、坐标、时间戳或原始片段。
第五种反模式：生成媒体没有安全和成本边界。
生图、生视频、音频合成会快速消耗预算，也可能产生肖像、版权、合规和品牌风险。不能只靠用户自觉。
工程清单
- 场景边界：用户、流程、输入模态、输出消费者和失败代价是否明确。
- 输入质量：文件类型、大小、清晰度、时长、页数、码率和格式是否有限制。
- 预处理：OCR、PDF 解析、音频转写、视频抽帧、脱敏和元数据清理是否可回放。
- 输出契约：摘要、字段、引用、页码、坐标、时间戳和风险标签是否结构化。
- 权限控制：用户能上传什么、模型能看到什么、结果能流向哪里。
- 人工确认：高风险字段、对外发布和真实人物相关生成是否进入复核。
- 可观测性：记录文件版本、预处理结果、模型、prompt、成本、延迟和错误类型。
- 评估体系：是否有按模态和问题类型划分的样本集。
- 成本延迟：是否有文件大小上限、缓存、模型路由、超时和降级策略。
- 安全合规：隐私、版权、肖像、未成年人、品牌和日志脱敏是否覆盖。
小结
多模态工程的核心判断是：输入是否足够简单，输出是否只给人参考，失败是否容易被发现。
如果答案是肯定的，简单上传或轻量预处理就可以起步。如果输入复杂、输出要进入系统、需要证据和审计，或者生成结果会公开发布，就应该建设工程管线。
这个专题的后两篇会分别展开：图片、PDF 和 OCR 文档理解如何逐级升级；生图、生视频和音频输出如何在安全、成本和用户体验之间做稳定设计。