昨天晚上,AI 圈发生了大事件——GPT-5 来了!
OpenAI 正式发布了 GPT-5,这是他们迄今为止在编码和智能体任务方面表现最佳的模型。
官方数据显示,GPT-5 在 SWE-bench Verified 测试中得分 74.9%,在 Aider polyglot 测试中得分 88%,都达到了行业领先水平。
理论上,它是目前最强的模型,大版本的更新,整个科技圈都在沸腾。
我看到 Cursor 第一时间推出了 GPT-5 支持,且赠送免费积分,心想这下可以见证历史了。
于是,我今天就赶紧对它进行了一个实测。
结果...让我有点失望。
直接更新 Cursor 的最新版本,就可以看到 GPT-5 的模型选项了:
目前 Cursor 支持的版本是 272k 的上下文,按照 Cursor 的说法是"launch week"免费试用,所以大家赶紧去试试,目前速度也很快。
不过,依然对国内有限制,需要海外代理才能正常访问。
今天,我又发现 Augment 竟然也支持模型选择了!
这打破了 Augment 之前一直黑盒模型的作风,看起来官方也在对 GPT-5 进行实际的验证和评测:
这个变化很有意思,说明连 Augment 这样的专业工具都在重新审视模型选择的重要性。
Cursor 官方其实也给出了自己的实测,他们应该是之前就已经拿到了内部体验资格:
整体对 GPT-5 的评价不错,看起来是超越 Claude,成为当前的 SOTA 了。
但是,实际体验真的如此吗?
其实一开始,表现的还挺不错的。
先让它修复一个报错问题:
加一些功能,都能精准的加上:
这时候我还挺兴奋的,心想 GPT-5 果然名不虚传。
但是给了它一个比较复杂一点的插件问题,折腾了 1 个小时,都没有搞定:
这时候我开始怀疑了,是不是我的问题描述不够清楚?
接着,我又用 Augment 测试了同样的提示词。
GPT-5 的表现:
GPT-5 会长篇大论地进行分析,它的返回结果让人感到头疼,很偏理论:
Claude 的表现:
而切换成 Claude,明显感觉不一样,不会长篇大论的输出理论,而是真实调用工具去尝试解决问题:
最后,Claude 帮我解决了问题,我再切回到 GPT-5,结果它又给我改坏了...
这种对比太明显了,一个在纸上谈兵,一个在真刀真枪地干活。
通过一天的折腾,我发现 GPT-5 有三个明显的问题:
GPT-5 总是回复英文,即使我用中文提问,它也经常用英文回答。
这对于中文用户来说,体验很不友好。Claude 在这方面就做得好很多,能够很自然地用中文交流。
GPT-5 对 MCP(Model Context Protocol)支持不好,不能很好地调用 tools。
而 Claude 第一时间就会去调用 tools 解决问题,这种差异在实际编程场景中非常明显。
GPT-5 更偏理论,总是输出一大段分析,Claude 更偏实际,能够真正解决问题,少说多做。
另外,早上 GPT-5 的速度还挺快,等到了中午之后,应该是用的人多了,GPT-5 开始明显变慢了。
这种体验的不稳定性,对于需要高效工作的开发者来说,是很致命的。
感觉起来,GPT-5 还是太"AI"了,没有 Claude 的人性化。
什么是人性化?
就是能够理解你真正想要什么,而不是给你一堆看起来很专业但实际没用的分析。
就是能够直接动手解决问题,而不是在那里长篇大论地讲道理。
就是能够用你习惯的语言和方式与你交流,而不是一副高高在上的学术腔调。
在编程这个实用性极强的领域,我更需要的是一个能干活的助手,而不是一个只会分析的顾问。
整体而言,我对 GPT-5 还是比较失望的。
不是说它不强,而是它的强没有体现在我最需要的地方。
也许 GPT-5 在某些学术测试或者理论分析上确实更强,但在实际的编程工作中,至少在我的体验里,它不如 Claude 实用。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |