多模态
Multimodal AI
初级通用多模态（Multimodal AI）指 AI 能处理文字、图片、音频或视频等不同形式的信息，并在任务中结合使用。它解决了只靠文字难以说明现场情况的问题，比如让 AI 对照页面截图和需求描述找出界面差异。
你可能会说：「我想把页面截图和需求一起发给 AI，让它看懂界面哪里做错了并告诉我怎么改。」
动手看看对照截图验收注册页
1
先把注册页需求交给模型：邮箱输入框下方要有提交按钮。但文字只说明应该长什么样，没有展示实际页面。
要点多模态是怎样帮你理解输入的？
- 1
模态说的是信息的形式
文字、图片、音频和视频是不同模态。你把报错截图发给 AI，而不是手动抄出错误文字，就把图片作为输入交给了它。模型能否处理这张图，还要看你选用的具体模型。
- 2
关键是把不同线索放在一起
做页面验收时，你可以同时给 AI 一张设计稿和一段修改要求。它需要结合图中的布局与文字中的目标来回答；如果只读取图片里的文字，可能会漏掉间距、颜色或组件位置。
- 3
输入输出不必采用同一种形式
你给 AI 一段录音，让它用文字整理待办事项，也是多模态应用。输入能接收哪些形式、输出能生成哪些形式，取决于模型和接入方式，不能因为它支持图片输入，就推断它也能生成图片。
容易混淆的地方
多模态描述的是 AI 能处理哪些形式的信息，不等于“会生成图片”：一个模型可以看懂截图，却只能输出文字。它也不等于工具调用；调用截图工具只是取得图片，后续能否理解图片仍取决于模型。普通文字识别可以提取截图里的字，但如果你还想让 AI 判断按钮位置是否符合设计，就需要理解图像内容。
什么时候用
适合用
- 做网站验收时，把设计稿、实际页面截图和需求一起交给 AI，让它指出可见差异。
- 做客服工具时，让用户上传设备故障照片并描述现象，帮助 AI 理解问题。
- 整理会议内容时，让 AI 结合录音和共享屏幕截图，生成带有界面背景的待办事项。
不适合用
- 需求、代码和报错都已有可复制的文字时，直接提供文本更方便检索和核对。
- 只需批量提取扫描表单上的固定字段时，先考虑文字识别与字段校验方案。
- 只是想按现有数据生成统计图时，用图表组件即可，不需要让 AI 理解图像。
练一练选一个答案，看看解释
你在做一个网页验收工具：用户上传设计稿和实际页面截图，再写一句“检查价格卡片”。哪种方案最符合这个需求？
让 AI 帮你做复制给 AI Agent 直接用
请为网页验收功能设计多模态输入流程：用户上传设计稿和实际页面截图，并填写检查目标。选用能理解图片的模型，输出有依据的可见差异；看不清或无法从截图判断的地方单独标明，不要猜测实现代码。