多模态是什么意思？一文讲懂 Multimodal

这期讲了什么

• 多模态就是「多种一起来」：模态是信息的种类，文字、图片、声音、视频各是一种；多模态 AI 不再只认文字，好几样能一块儿处理
• 和老 AI 的区别：最早的 AI 只能打字来回；多模态等于给那个会说话的大脑（大语言模型）装上眼睛和耳朵
• 日常用处：拍菜单路牌翻译、拍花草和不认识的题问它、截图问报错、发语音转文字、拍合同先帮你粗筛挑坑
• 必须记住的边界：它的眼睛耳朵还参差不齐，看图会看走眼、听语音会听岔；看病检查单、要签字的合同、算钱的账目，绝不能百分百信它读出来的结果，最后要自己再过一眼

文字稿

多模态是什么

欢迎来到 AI 黑话翻译机，三分钟，搞懂一个 AI 概念。今天要翻译的词是——多模态，英文叫 Multimodal。这个词你可能没听过，但我敢打赌，你早就天天在用了，只是叫不出它的名字。

你随手拍张菜单，让 AI 翻成中文；你截一张报错的图，问它这是咋回事、怎么解决；你懒得打字，直接发一段语音让它转成文字——这些，其实全都是多模态。

好，咱们先想想，以前的 AI 是个啥样。最早那批 AI，你只能跟它打字。你敲一行字，它回你一行字，全程就靠文字。你想让它看张图？不行。你想给它听段录音？也不行。它就像一个只会读字的人——你写给它，它能懂；可你一比划、一出声、或者拿张照片递到它面前，它就一概抓瞎。

那多模态是什么呢？你就把它想成——这个 AI，从一个「只会读字的人」，升级成了一个「五官全开的全能选手」。以前它只有一项本事：读字。现在呢，我们给它装上了眼睛——能看图、能看视频；又给它装上了耳朵——能听你说话、能听声音。它能同时看、能听、能读，还能说。

这里有个关键词，叫「模态」。听着挺玄乎，其实特别简单——「模态」，就是信息的种类。文字是一种，图片是一种，声音是一种，视频又是一种。一种信息，就是一个模态。所以「多模态」翻成大白话，就四个字：多种一起来。它不再只认文字这一样，而是图片、声音、视频，好几样都能一块儿处理。

之前讲过「大语言模型」，那是一个会说话的大脑——可它再聪明，也只认字。多模态干的事，就是给这个大脑，配上一双眼睛、一对耳朵。从此它不光能读，还能看、还能听了。

多模态能帮你做什么

第一，它是个随身翻译加百事通。出国看不懂菜单、看不懂路牌，拍张照，它直接给你翻；路边一株不认识的花、孩子一道不会做的题，拍下来问它，它也能给你认、给你讲。

第二，它能帮你省事、救急。电脑、软件弹出一串看不懂的报错，你别慌，截个图发给它，问它这是咋回事、该咋办；懒得打字的时候，直接发语音，它帮你转成文字。

第三，它能当个粗筛的帮手。比如一份合同、一份说明，你拍下来，让它先帮你过一遍、挑挑哪几条可能有坑——给你提个醒。

它的边界：五官全开不等于个个好使

但是，重点来了，这条你一定得记住。

它五官是全开了，可不代表它五官就个个好使。它的眼睛、耳朵，能力还参差不齐——看图可能看走眼，听语音可能听岔了，把这个字认成那个字、把这句话听成那句话，都是常有的事。

所以，凡是要紧的东西——看病的检查单、要签字的合同、算钱的账目——千万别百分百信它读出来的结果。让它帮你打个底、提个醒，这可以；可最后那一遍，还得你自己的眼睛再过一道。

记住一句话就够了：多模态，就是 AI 从一个只会读字的人，变成了一个能看、能听、能读、能说的全能选手——文字、图片、声音、视频，它都能一块儿处理；但它的眼睛和耳朵也会看错、听错，要紧的事，你还得自己把把关。

常见问题

多模态和大语言模型有什么区别？

大语言模型是一个只会读字、会说话的大脑，输入输出都靠文字。多模态是给这个大脑配上眼睛和耳朵，让它能看图、看视频、听语音、说话，几种信息一块儿处理。

模态这个词是什么意思？

模态就是信息的种类。文字是一种模态，图片是一种，声音是一种，视频又是一种。「多模态」就是多种信息一起来，AI 不再只认文字这一样。

多模态 AI 可以完全信任吗？

不能。它的眼睛和耳朵能力参差不齐，看图会看走眼、听语音会听岔。看病的检查单、要签字的合同、算钱的账目这类要紧事，让它打底提醒可以，最后一定要自己再过一遍。