#防泄漏、生图和生视频安全策略

数据和媒体安全是 AI 应用最容易被低估的部分。

很多团队会先关注模型回答是否准确，却忽略另一个问题：模型是否看到了不该看的数据，输出是否包含不该公开的信息，用户上传的文件是否夹带敏感内容，生成的图片和视频是否存在侵权、违规、深度伪造或品牌风险。

文本、文件、图片、音频、视频进入同一个 AI 工作流后，安全边界会变复杂。一个营销素材生成工具，可能同时处理用户提示词、产品图片、品牌规范、参考视频、人物肖像、生成结果和发布渠道。任何一个环节没有审核，都可能让敏感信息或不合规内容进入公开传播。

这篇文章讨论三类风险：

• 防泄漏：输入、上下文、输出、日志和文件中的敏感信息。
• 生图安全：图片生成、编辑、换脸、品牌和版权风险。
• 生视频安全：视频生成、数字人、声音、动作、场景和深度伪造风险。

#1. 提出问题

假设一个电商运营团队使用 AI 生成商品详情页素材。

运营会上传商品图片、竞品截图、品牌手册、达人参考视频和活动文案。AI 会生成卖点摘要、详情页图片、短视频脚本、口播视频和多渠道发布文案。输出可能进入内部审核，也可能一键发布到广告平台。

常见样本很普通：

• “基于这张商品图生成 3 张详情页头图。”
• “把这段活动文案改成短视频脚本。”
• “参考这个视频节奏，生成 15 秒开屏广告。”

容易失败的样本则涉及安全和合规：

• 上传的商品图里包含用户手机号、订单号或后台水印。
• 竞品截图里的 Logo 被生成结果保留。
• 用户要求“做成某个明星代言的感觉”。
• 视频生成人物口播了未验证功效和夸大承诺。
• 参考视频含有未授权音乐、人脸或未成年人。
• 生成结果自动发布，审核人员没有看到风险标记。

这里的安全问题不只是“提示词是否违规”，还包括文件、图像、视频帧、音频、OCR 文本、元数据、输出内容和发布流程。

#2. 分析问题

数据和媒体安全可以拆成多个任务类型。

模型适合做内容分类、PII 识别、OCR 后风险判断、生成前改写建议、生成后说明风险原因。

规则和系统更适合做文件大小限制、类型白名单、权限过滤、哈希和相似度检测、日志脱敏、发布审批和保留策略。

#收益/成本判断

防泄漏和媒体审核会增加成本，但它让 AI 能进入更有价值的素材、知识和自动化流程。

收益和成本的判断要结合输出位置。内部草稿可以接受较轻审核；公开广告、医疗健康内容、金融营销、未成年人相关内容，需要更强审核和人工确认。

#3. 列举方案

#何时简单策略足够

简单策略适合低风险、内部使用、人工编辑、不会自动发布的场景。

例如团队内部用 AI 生成活动标题、改写商品卖点、做非公开视觉草稿，可以先采用：

• 输入提示：不要上传证件、合同、密钥、客户数据。
• 基础 PII 识别：手机号、邮箱、身份证、银行卡、密钥格式。
• 输出敏感词和 PII 扫描。
• 生成结果默认标记为草稿。
• 发布前由运营人工检查。
• 日志只保存摘要或脱敏内容。

这类策略便宜，能覆盖明显泄漏和低级违规，但不适合自动发布和高风险媒体生成。

#何时需要工程方案

出现以下情况时，需要系统化治理：

• 用户可以上传文件、图片、音频或视频。
• 输入包含客户、员工、合同、财务、医疗、教育、未成年人或源代码。
• 生成结果会公开发布、投放广告、进入商品详情页或社交媒体。
• 产品支持人脸编辑、声音克隆、数字人、视频改写或图像局部重绘。
• 生成内容涉及医疗功效、金融收益、法律承诺、招聘教育等合规领域。
• 需要满足企业审计、平台审核、版权授权或监管要求。

工程方案要覆盖生成前、生成中和生成后，而不是只在输出阶段拦一次。

#方案阶梯

#第一层：数据分级和最小上下文

先定义哪些数据可以进入模型。

最小上下文的原则是：只给模型完成当前任务所需的信息，不把“可能有用”的敏感材料一起塞进去。

#第二层：输入审核

输入审核要覆盖文本、文件和多媒体。

文本输入可以检测 PII、密钥、越权请求、违法违规内容和高风险意图。

文件输入要处理文件类型、大小、宏、压缩包、元数据、OCR 文本、嵌入链接和隐藏指令。解析应该在隔离环境中完成，解析后的文本也要标记来源和可信度。

图片和视频输入需要识别人脸、证件、品牌 Logo、未成年人、暴力色情、医疗场景、政治敏感、屏幕截图中的敏感文字，以及参考素材是否适合用于生成。

#第三层：生成策略

生成策略不是只写拒绝词，而是把风险变成产品约束：

• 禁止生成未授权名人、普通人换脸或冒充真实人物。
• 禁止生成可被理解为真实新闻、证据或官方通知的虚假内容。
• 对医疗、金融、法律、功效宣传使用受控模板。
• 对品牌素材使用授权素材库和品牌规范。
• 对未成年人相关内容使用更严格阈值。
• 对批量生成和高风险关键词增加速率限制和人工复核。

生成时可以把模型输出限定为草稿，并要求在进入发布流程前完成审核。

#第四层：输出审核

输出审核要同时看文本和媒体结果。

文本审核关注 PII、商业机密、夸大承诺、高风险建议、仇恨骚扰、违法违规和版权提示。

图片审核关注违规视觉内容、Logo、名人肖像、未成年人、血腥暴力、裸露色情、危险行为、证件和屏幕信息。

视频审核还要关注逐帧内容、字幕、口播、音频、人物身份、动作意图、场景语义和是否可能被误认为真实记录。

输出审核的结果最好是结构化的：

{
  "riskLevel": "medium",
  "categories": ["brand_logo", "unverified_claim"],
  "action": "needs_human_review",
  "reasons": ["画面中疑似包含竞品 Logo", "字幕包含未验证功效承诺"]
}

#第五层：人工复核、发布控制和溯源

高风险内容需要人工复核，尤其是公开发布前。

复核界面应该展示：

• 原始输入和生成结果。
• 检测到的风险类型。
• 使用的参考素材和授权状态。
• 生成模型、参数和时间。
• 修改记录和发布目标。

发布控制要支持草稿、待审、驳回、已发布、已撤回等状态。对外发布的 AI 生成媒体，可以考虑水印、元数据标记、内容凭证或内部追踪 ID。

#4. 决策判断

#方案选型表

#反模式

第一种反模式：只在输出端做敏感词过滤。

如果敏感信息已经进入模型上下文和日志，即使最终输出被拦截，泄漏面也已经扩大。输入审核、最小上下文和日志脱敏同样重要。

第二种反模式：把“不要上传敏感信息”当成唯一防护。

用户可能不知道图片、截图、PDF 元数据或视频帧里包含敏感信息。系统需要帮助识别，而不是完全依赖用户自觉。

第三种反模式：文本审核通过，就认为图片和视频安全。

生成结果可能在视觉上包含违规元素，即使提示词本身很正常。比如“办公室场景海报”生成了屏幕上的客户名单，或保留了竞品 Logo。

第四种反模式：参考图和参考视频不做授权管理。

“参考风格”“参考构图”“参考人物”都可能带来版权、肖像权和品牌风险。素材库应该记录来源、授权范围和可用场景。

第五种反模式：高风险媒体自动发布。

生图、生视频尤其是广告、医疗、金融、招聘、教育和未成年人相关内容，不能只靠自动审核决定发布。至少要对高风险结果进入人工复核。

第六种反模式：日志保存原始文件和完整 Prompt。

日志是复盘工具，也可能成为泄漏源。应该保存必要 trace、风险标签和脱敏摘要，而不是无限期保存所有原始内容。

#5. 结论收束

防泄漏、生图和生视频安全的关键，是把审核前移到输入，把权限落实到上下文，把拦截覆盖到输出，把公开发布放进可审计流程。

低风险内部草稿可以从提示、基础 PII 扫描和人工编辑开始；一旦涉及文件、多媒体、客户数据、品牌素材或公开发布，就需要数据分级、输入审核、输出审核、授权管理、人工复核和日志脱敏。

多媒体 AI 的风险往往不是一句提示词能看出来的。真正可靠的方案，要同时检查用户想做什么、上传了什么、模型生成了什么，以及这些结果最终会被发布到哪里。

#工程清单

• 数据分级：是否区分公开、内部、受限和高敏数据。
• 输入审核：文本、文件、图片、音频、视频是否分别审核。
• 文件安全：是否限制类型和大小，是否清理元数据，是否隔离解析。
• OCR 和元数据：图片、PDF、视频帧和截图中的文字是否被识别。
• 最小上下文：模型是否只接收当前任务必要信息。
• 输出审核：文本、图片、视频、音频、字幕和结构化结果是否审核。
• 媒体策略：人脸、未成年人、名人、品牌、版权、深度伪造是否有规则。
• 授权管理：参考素材、声音、人脸、Logo 和字体是否记录授权范围。
• 人工复核：公开发布和高风险内容是否进入审核队列。
• 水印溯源：AI 生成媒体是否有追踪 ID、元数据或内容凭证。
• 日志脱敏：Prompt、工具结果、文件内容和审核结果是否按级别保存。
• 反馈申诉：误拦截、误放行和用户申诉是否能进入改进闭环。