|
OpenAI的野心似乎永无止境！ 最近，OpenAI 首席财务官Sarah Friar 关于GPT-5和GPT-6的爆料引起了轩然大波。 其表示，他们下一个AI模型将比GPT-4大一个数量级，未来模型也将以类似速度增长，需要大量资本投资以实现他们的「雄心壮志」。 
视频揭示了两件事（暂将下两代模型记名为GPT-5 和GPT-6，虽然OpenAI 不一定按套路出牌）： GPT-5 将比 GPT-4 大 1 OOM，因此预计GPT-5的参数规模将达到惊人的17万亿，这比GPT-4整整大了一个数量级！这将使其性能显著提高，因为粗略地说，参数越多，答案就越好。 而GPT-6更是要在此基础上再翻十倍！ 因为GPT-6 将又是另一个 OOM（与 GPT-5 相比是 10 倍，与 GPT-4 相比是 100 倍）。 但与此同时，成本也成倍增加，从长远来看，这将给我们带来巨大的扩展问题。 
GPT-5：参数暴增，性能飙升？根据视频透露，GPT-5的参数规模预计将达到约17万亿。 这意味着什么？ 简单来说，参数越多，模型的表现通常就越好。 Chubby♨️ (@kimmonismus) 对此评论道： GPT-5将比GPT-4大一个数量级，预计有约17万亿参数。这将使其性能显著提升，因为粗略来说，参数越多，回答就越好。
但是，参数增加就一定意味着性能提升吗？ Beyond this journey (@beyondthisjourn) 提出了一个很好的问题： 更多的参数是否能保证模型更聪明/更智能？
虽然参数增加通常会带来性能提升，但这种关系并非绝对。模型的智能还取决于训练数据质量、算法设计等多个因素。 GPT-6：野心更大，挑战更多如果说GPT-5已经让人瞠目结舌，那GPT-6的计划简直是要上天。如视频中提到，GPT-6的参数规模将是GPT-5的10倍，也就是GPT-4的100倍，即170万亿参数！ 这太疯狂了！ 我不禁想问：我们真的需要这么大的模型吗？ leeloo dallas (@ps5_expert_play) 表达了一个有趣的观点： 我们不需要GPT-6。它是个锦上添花的存在，因为它会比5更好。但5o加上可变推理计算就能让我们达到后稀缺时代的生产力水平。（机器人和博士级代理）
这是说：够用就行，别玩太大的？ 只是，这是不是有点保守了。 扩张背后的隐忧然而，牛不是光吹就行。OpenAI的野心背后也隐藏着巨大的成本挑战。Chubby♨️ (@kimmonismus) 指出： 同时，成本却呈指数级增长，这将在长期给我们带来重大的扩展问题。
成本问题无疑是制约AI发展的一大瓶颈。 随着模型规模的扩大，训练和运行成本也会飙升。这可能会导致AI技术的发展速度放缓，甚至出现停滞。 不过，morgan — (@morqon) 提供了一些积极的看法： 幸运的是，扩展推理的成本要便宜得多。
这是在说虽然预训练阶段的扩展成本高，但o1的推理阶段扩展的打法，成本要远低于预训练阶段的扩展。 照这个思路，推理扩展 + 更大的参数量，这或许还真是个可能的研究方向！ GPT-5和GPT-6的参数规模扩张计划展示了OpenAI的雄心，但同时也带来了诸多挑战和思考。 期望这不是为了搞钱融资而口嗨，也不仅仅是数字上的胜利，而是能为人类带来真正的价值。 ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;font-size: 16px;line-height: 26px;color: black;">Hensen Juang (@basedjensen) 则意味深长地指出：ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;overflow: auto;background: rgb(251, 249, 253);border-right: 0px solid rgb(53, 179, 120);quotes: none;">AI离不开它的戏剧性。 ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 0.75px;text-wrap: wrap;font-size: 16px;line-height: 26px;color: black;">这……是在讽刺吗？ | 
