链载Ai

标题: GPT-4.1一手实测,实力绝对被低估了 [打印本页]

作者: 链载Ai    时间: 2 小时前
标题: GPT-4.1一手实测,实力绝对被低估了

家人们,OpenAI 的这波操作我是真的蚌埠住了。

前有听起来很厉害的 GPT-4.5,今有 GPT-4.1 闪亮登场,以 API 的形式。

OpenAI 今天凌晨开直播,发布了 4.1 系列,包括三款模型,分别是——

还记得定义了大模型时代的 GPT-4 吗?前几天被宣告下线,OpenAI 这次意在将接力棒交到GPT-4.1手中。

提到 GPT-4 ,作为曾经大模型的标杆,2023 年 3 月份发布,整整“统治”AI 大模型领域一年多的时间,谁还没领略过当年各家大模型厂商赶超 GPT-4 的热潮,绝对是历史留名。

GPT-4.1 作为接棒 GPT-4 的“全村希望”,OpenAI 对 GPT-4.1 的期望极高。宣称它在编码、长上下文、指令遵循、视觉等任务上全面吊打了此前的明星模型 GPT-4o

甚至在某些关键指标上比肩乃至超越了更贵的 GPT-4.5!官方的说法是“每个维度都更强”,底气十足。

快速看下亮点——

这次 GPT-4.1 特别强调了编码和长上下文能力。我们来看看它在两大编程基准测试中的表现:

SWE-bench Verified 是SWE-bench数据集的精炼子集, 是 OpenAI 与原始作者合作开发,用于评估 AI 模型在软件工程任务中表现。

下图是官方提供的评测结果,GPT- 4.1 的得分超越了 o1-high o3-mini 和 GPT-4.5。

相比 SWE-bench Verified只有 Python,而且偏工程化场景,Aider则是一个多语言编程测试集,包括 C++、Go、Java、JavaScript、Python、Rust 6 种编程语言,更侧重编程语言特性和复杂逻辑。

GPT-4.1 的表现,超越 GPT-4.5,但比 o1-high 、o3-mini-high 这俩推理模型还差一些。

除了效果上声称超越 4o,比肩 4.5,这次 GPT4.1 还主打一个“便宜”(单位:美元)。

完毕,GPT-4.1 的理论优势已明确。又是性能起飞又是价格跳水,说实话,我的好奇心已经被拉满了。

现在,按照夕小瑶的风格,进入实测环节!

一手实测

先来一个灵魂拷问

4.10 大还是 4.5 大?

这道题连模型本身都思考了一下。

第一次答案竟然回答错了,还好后面纠正了回来,估计这是模型的“潜意识”不甘心。

编程能力

单词游戏

制作一个闪卡网页应用程序。用户应能:

直接看效果:

卡片反转自然,复习、搜索、统计、创建 4 个页面所有的功能均正常,交互也非常顺畅。第一个 case 轻松通过。

修图 APP

用 p5js 生成一个网页:

部分代码展示:

直接看效果:

首先指令遵循确实牛,页面以粉色为主,类似电视机的屏幕用于显示图片,其次,滤镜应用于图片的效果,也是完全正确的,比如调成灰色,反色,都符合实际规律。

flapping bird 游戏

创建一个 Flapping Bird 的网页游戏,实现玩家控制和计分系统,在游戏过程中,在屏幕上清晰地显示当前得分。

直接上游戏运行效果——

一次过!

测到此,我已经有点被 GPT-4.1 的编程能力惊呆了。远比我预期的好太多。

弹跳小球模拟

弹跳小球的这个例子大家都见过很多次了,不过这次我找了一个非常专业的提示词,看看 GPT 4.1 在专业提示词下的编程表现如何。

这个提示词特别长,长到必须要要用视频来展示:

我们直接看效果:

这个效果惊艳不惊艳? 所有的组件都正常工作,物理效果目测合理,更厉害的是这是一次跑出来的结果。

这个例子证明了一点,任何时候都不要轻视提示词。

计算器复刻

用 p5js 在单个文件内生成一个具有完整功能的计算器。

部分代码展示:

直接看效果:

界面布局与常见计算器一样,功能正常,计算结果也准确,还考虑了“除以零”这种特殊情况。

这个项目可以高分通过!

我终于知道这次 Altman 这么自信地吹 GPT-4.1 的编程能力,确实 ?!

此外,1M 上下文也是这次升级的亮点,接下来捅穿它的底线。

长上下文能力

这里我们直接上传一个有 400 多页的 PDF 文档,随机挑一页问相关数据。

文档选用:斯坦福《2025 年 AI 指数报告》

2023 年工业机器人安装数量是多少?

上结果:

这份报告统计一共是 12.5 万字。

这是原文对应部分截图:

答案找的很准确。

多模态能力

OCR 识别 + 理解

我们上传一张超市收据,并对收据进行提问。

问题一: 一共花了多少钱, 买了几件物品?

回答正确

问题二:是哪个超市?哪个收银员?交易时间?

回答正确

问题三: 买了多少肉类食品?里面最贵的是哪个?

先说不足之处,错误的将“5.绝味招牌风味藕”作为肉类。

在价格这里,不但选出了单价最高的产品(鸭肠), 还选出了实际购买的最贵的产品(片皮烤鸭)。这个答案我觉得蛮厉害!

图像理解

图中的车辆该走么?

之前的题目太简单了,4.1 连续答对。

稍微上一点难度,提供下图,让模型判断水会流到哪个桶里,考验它对显示世界的物理规律的理解。

水最终会从哪个口出

正确 +1

再来一题!

SVG 生成

生成一只骑自行车的鹈鹕的 SVG

运行结果如下——

实话说,效果还是可以的。

相比卡帕西大神之前评测的结果,GPT4.1 的表现中规中矩,和 Claude 3.5 差不多。

结尾

对于 GPT-4.1 的发布,有太多的“抽象”和疑问,以至于在实际测试前,很难对其抱有特别高的期待,尤其是在经历了 GPT-4.5 的“预热”之后。

至此,无需我说,上面的 case 的效果,让 GPT-4.1 的效果立竿见影。

至少在我们测试的这些核心维度上,GPT-4.1 的性能不仅没有因为版本号“回退”而打折,反而可能是一个被低估了的实力派。






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5