多模态 AI 基础与工程

这个主题把输入输出从纯文本扩展到图片、语音、视频和文档。前端天然处理多媒体，因此多模态是前端进入 AI 产品的重要入口。

多模态不是“给 Chat 加一个上传按钮”。图片、音频、视频和 PDF 都有自己的解析、预览、状态、权限、成本和延迟问题。这个阶段会把多模态能力拆成输入理解、媒体处理、模型调用、结果呈现和用户修正几条链路。

学习目标

完成这个主题后，你应该能够：

Multimodal Input 指模型或系统能接收文本以外的信息，例如图片、音频、视频帧、PDF 页面、截图和结构化文件。

Vision Understanding 适合识别画面内容、UI 状态、图表、截图和文档页面，但它并不天然等于精确 OCR 或严格表格抽取。

AI OCR 不只是识别文字，还可能理解版面、标题层级、表格结构、阅读顺序和图片说明。

Realtime Audio 把语音识别、模型生成和语音合成连接成低延迟对话体验，关键体验指标是打断、轮次切换和端到端延迟。

Multimodal RAG 要同时处理文本检索和视觉证据。PDF 页面、图片区域、OCR 文本、截图描述和原始文件之间需要稳定的 source mapping。

这张图说明多模态产品通常不是一个模型直接解决全部问题，而是把媒体解析、上下文组装、模型生成和结果交互连接起来。

多模态：text、image、audio、video、document。
Vision Model：image understanding、image caption、visual question answering、screenshot understanding。
OCR 与文档理解：传统 OCR、AI OCR、layout understanding、table extraction、PDF parsing。
Audio AI：speech to text、text to speech、voice conversation、realtime audio。
Image Generation：text to image、image editing、style transfer、prompt for image generation。
Video AI：video understanding、video summarization、video generation。
Multimodal RAG：text + image retrieval、document image retrieval、screenshot retrieval。
Multimodal UX：upload、preview、annotation、streaming media、progressive result。