真正的多模态,不是给盲人装义眼,而是让他睁开眼睛。
哈喽,大家好,我是刘小排。
很多朋友知道,我是个“暴力测试”爱好者。之前我因为跑 Claude Code 跑得太狠,一度被官方限流。对我来说,AI 工具不是用来聊天的,是用来干活的,而且是干重活。
最近在开发一个新功能时,我遇到了一个极端的“多模态”场景。这个场景,彻底暴露了目前市面上大模型的两条技术路线之争。
简单说:Gemini 3 Pro 赢麻了,而 GPT-5.2 还停留在上个时代。
一个让 LLM 崩溃的“真”需求
场景是这样的:我手头有一本扫描版教材(数百页 PDF,全图无文字层)和一套包含 200道题 的卷子(填空、选择、简答,带图表)。
我的要求非常严苛:“模型必须只依据这本教材的内容,依次回答这200道题。”
这不仅是考逻辑,更是考“眼力”和“脑回路”。
GPT-5.2:勤奋的“胶水工程师”
我先把任务丢给了 GPT-5.2(以及目前的 Claude Opus 4.5)。如果你懂技术原理,你盯着它的思考过程,会觉得既好笑又心酸。
GPT-5.2 实际上是在“作弊”。它根本“看不懂”这几百页的像素。它的处理逻辑是典型的 Pipeline思维:
- 引入 OCR 库(文字识别),开始疯狂地把图片转成文字。
- 把识别出来的、支离破碎的文本塞进 Context Window。
代价是什么?
时间: 以前我讲过“时间就是金钱”,这次它足足跑了 20多分钟,才只出来前面16道题的答案。
不过,好在回答的质量还是不错的,准确率100%。
这不叫多模态,这叫 “胶水多模态”。它是在用上个时代的 OCR 技术,给盲人 LLM 强行装了一副义眼。
从图中可以看到GPT-5.2的挣扎:
Gemini 3 Pro:原生的力量
同样的 Prompt,同样的文件,我丢给了 Gemini 3 Pro。
没有代码解释器。没有 OCR 进度条。没有中间商赚差价。它直接“看”了进去。
结果:1分钟。
全部 200 道题,各种题型都答案完美输出,连教材第几页的图表细节都引用得清清楚楚。
没有一丝丝的挣扎和费劲。
答案仍然是100%准确
我甚至顺手让Gemini 3 Pro做成了PPT,每页一道题,如果用户打错了,给出正确答案、再从教材找出正确答案的依据。
视网膜 vs 抄写员:本质的区别
为什么差距这么大?这就好比我们人类看书。
当你翻开一本扫描版教材时,你的视网膜会给大脑报警说:“等等!这是像素图片,不是矢量文字,我无法阅读!” 吗?当然不会。
在人类(以及 Gemini 3 Pro)眼里,信息的本质是光。不管它是印刷出来的字,还是屏幕上的截图,甚至是手写的草稿,只要“光”进了眼睛,大脑就能秒懂。
而 GPT-5.2 的处理方式,就像是一个极度死板的抄写员。他看到图片的反应是:“这不合规!我只认识 TXT 文本!” 于是他不得不先把图片拿去复印、扫描、转录成纯文本,确认没有乱码了,才肯开始读。
Gemini 是长了眼睛的,而 GPT 只是手里拿了个扫描仪。
信息熵的丢失
作为一个做产品的人,我还想从更底层的角度聊聊。
GPT-5.2 这种“OCR + LLM”的胶水模式,最大的问题其实不是慢,而是信息熵的剧烈丢失。
一张图片包含的信息量是巨大的:文字的大小暗示了重要性,图表的颜色暗示了趋势,段落的布局暗示了逻辑关系。
当 GPT-5.2 强行把图片转成纯文本时,这些“非文字信息”全部丢失了。它看到的只是一堆干巴巴的字符。而 Gemini 3 Pro 因为是 原生多模态,像素和字符在它的神经网络里是平权的。它能同时看到“字的意思”和“字的样子”。
对独立开发者的启示
作为产品人,我们必须敏锐地捕捉到这种技术代差带来的机会。
以前我们做“文档对话”、“AI 辅导”这类产品,不得不忍受 OCR 的高昂成本和慢速响应。用户上传一个 PDF,得转圈半天。
现在,Gemini 3 Pro 把这个链路打通了。
这意味着我们可以构建完全实时的视觉交互产品。用户拍一张复杂的报表,AI 毫秒级给出分析结果——这种体验的提升,是 10 倍级的。
时延的消失,往往意味着新交互形态的诞生。
留个作业
我知道我的读者里有很多卧虎藏龙的开发者和超级个体。Gemini 3 Pro 的这个特性,绝对不止是用来做题这么简单。
- 它能看懂1小时的无字幕电影、截图出里面最精彩的金句帧吗?
- 它能直接看一个抖音卖货视频,逐秒分析出视频脚本、找出视频的亮点吗?
- 它能把抖音特效运镜视频逆向成图生视频的Prompt吗?
- 它能直接看懂你复杂的 Figma 设计稿并写出代码吗?(不需要切图)
别光听我说,去试。把你手头最复杂的、最让 OCR 头疼的文件丢给它。如果你发现了什么惊人的原生多模态用法,在评论区告诉我。
咱们评论区见,期待你的反馈!期待你告诉我更多!