5.4 多模态组合任务

引言：为什么"多模态组合任务"是未来工作的主流

AI 已经进入图文音视频一体化的时代。你会越来越多地遇到这样的任务：

• 根据产品图片 + 文本需求写广告文案
• 根据视频内容 + 旁白脚本生成新脚本
• 根据 UI 图 + 需求文档做可用性分析
• 根据图表截图 + 问题生成报告

图 + 文 + 音 + 视频 = 多模态组合任务

5.4.1 多模态组合任务的核心逻辑

组合任务的本质是：AI 同时处理多个输入（图、音、视频、文本），并按照你指定的分析结构整合成一个统一输出。

你必须告诉 AI：

1. 哪些输入来源需要被结合？
2. 如何结合？（优先级）
3. 输出格式是什么？
4. 要避免什么？

5.4.2 组合任务的常见类型

类型	示例
图 + 文	解释产品图+根据需求写文案
音 + 文	根据会议音频+文档输出纪要
视频 + 文	根据视频内容+需求改写脚本
图 + 视频	视频场景是否与产品图一致
图 + 音	音频描述与图片是否一致
图 + 音 + 文 + 视频	生成完整产品介绍短视频脚本

5.4.3 组合任务的四大核心原则

原则	说明	示例
明确指定输入来源	AI 必须知道有几个输入	"请结合以下三个输入进行分析"
给每个输入定义使用目的	明确各输入的作用	"图片→识别内容，文案→明确需求"
定义融合逻辑	如何组合各输入	"以文本需求为主线，以图像信息为补充"
强制结构化输出	避免混乱输出	"请按：概述/各输入信息/融合结果 输出"

5.4.4 多模态组合提示模板

模板 1：图 + 文 → 生成文案

请根据以下内容生成文案。

【图像】
（上传图片）

【需求文本】
……

【输出结构】
1. 图像核心信息
2. 需求文本要点
3. 最终文案（50 字以内）

【限制】
- 文案必须符合图像内容
- 禁止编造图中不存在的信息

模板 2：图 + 文 → UI/UX 分析

请根据以下 UI 图和需求文档做分析。

【UI 图】
……

【需求文档】
……

【分析维度】
1. 信息结构一致性
2. 交互逻辑
3. 文案匹配度
4. 改进建议

模板 3：音频 + 文 → 生成脚本

请根据以下音频内容和脚本文本生成短视频脚本。

【音频】
……

【文本】
……

【输出结构】
1. 脚本主线（来自文本）
2. 可用旁白内容（来自音频）
3. 融合后的成品脚本（30 秒）

模板 4：视频 + 文 → 改写脚本

请根据以下视频内容和文本需求改写脚本。

【视频】
……

【需求】
……

【输出结构】
- 画面分析（来自视频）
- 需求重点（来自文本）
- 新脚本（结合两者）

模板 5：图 + 文 + 视频 → 完整短视频方案

请根据以下三个输入生成完整的短视频方案。

【图】
……

【文案】
……

【视频】
……

【输出结构】
1. 影片定位
2. 信息来源（图/文/视频）
3. 脚本大纲
4. 镜头设计
5. 旁白内容

5.4.5 常见错误

错误	问题	解决方法
没有定义输入	AI 只会用其中一部分	明确列出所有输入来源
让 AI 猜逻辑	融合结果不稳定	告诉它哪个模态优先
输出不结构化	内容混乱	给出明确输出格式
没有限制	幻觉爆发	加入禁止项

本节小结

关键要点

1. 多模态组合任务是未来所有 AI 工作流的基础能力
2. 必须指定：输入来源 + 使用目的 + 融合逻辑 + 输出结构
3. 模板可以显著提升稳定性
4. 避免幻觉必须明确限制
5. 组合任务不仅是提示词技巧，更是"任务分解能力"

多模态组合是高级应用的基础，接下来我们将学习：小白多模态常见问题与解决方案。