关于通用人工智能前夜的思考
这周我和几个朋友聊了聊 o3，他们的反应总结起来基本都是：“我靠，这真的要发生了吗？”
没错，它真的要发生了。未来几年将会非常疯狂，这将是历史性的，甚至是具有宇宙意义的事件。
荒谬的是，现在对正在发生的事并没有深入的讨论。人工智能实验室不能公开谈论，新闻媒体也只是蜻蜓点水，政府更是不明白。
我们用一个社交媒体上的梗图来讨论人类的未来，这感觉像是一出荒诞的喜剧，但我们现在就是身处其中。
下面是我对正在发生的事情的一些想法，算是为这 X 想法的深渊贡献一份力量。
请注意，这些想法并不成熟，只是有趣的推测。我没有足够的时间去深入思考和研究，而且我肯定会错很多。但我希望这些想法对那些正在试图理解正在发生的事情的人们有所启发。
请享用。
o3 的出现不应该让人震惊。两个月前，OpenAI 就展示了测试时扩展的图表，而且计算机的历史告诉我们，无论趋势线多么不可思议，都要相信它。真正应该震惊的是它在两个月内就发生了。我们从大学水平的人工智能飞跃到博士水平的人工智能，速度就是如此之快。对人类而言，变化令人兴奋，但快速的变化令人震惊。
接下来会发生什么，其实显而易见。o3 类模型在优化任何你可以定义奖励函数的事情上都非常出色。数学和编程很容易设计奖励函数，小说写作则比较困难。这意味着短期内（1年），我们会得到“尖刺”模型。它们在数学、编程和通用推理方面基本上能达到通用人工智能的水平，但写出来的小说却很普通。虽然更强的推理能力会让这些模型在整体上感觉更智能，但它们仍然会以愚蠢的方式失败，因为这些失败的情况不在它们的训练数据中。在更长的时期内（1-3年），我们会不断将新的领域加入到强化学习中（例如情感数据、感官数据等），直到这些盲点被填补，届时，对于那些不是加里·马库斯的人来说，这些模型显然就是通用人工智能。
智能体真的会在 2025 年到来。o3 这样的模型不可能无法在浏览器/应用程序中导航并采取行动。这些东西很容易设计奖励模型。而且这是一个巨大的市场——自动化计算机工作——因此，那些需要证明其巨额支出的实验室有很大的动力这样做。我估计到 2025 年 12 月，你就可以告诉你的计算机执行任何涉及浏览网页/应用程序和移动数据的工作流程。
在所有“被冲击”的知识分子中，数学家绝对是最“惨”的。数学家在符号空间中工作，他们的工作与物理世界几乎没有接触，因此不会受到物理世界的瓶颈限制。大型语言模型是符号空间之王。数学其实并不难，只是灵长类动物不擅长而已。正则表达式也是如此。
一个重要的问题是，制作研究级别的合成数据有多难？我猜不会太难。博士水平的数学和研究员水平的数学对我们来说在质量上看起来不同，但对人工智能来说可能只是数量上的差别，只需要再多几个数量级的强化学习。我给数学家们 700 天时间。（这听起来很疯狂，但 o6 没有击败数学家听起来也同样疯狂，所以我对这个预测的把握超过 50%，就像这篇帖子中的其他所有预测一样）。700 天后，人类将不再是已知宇宙中数学领域的顶尖高手。
那么我们软件工程师呢？短期来看，这将是天堂。每个软件工程师都刚刚被提拔为技术主管，干得漂亮。对于那些完全采用大型语言模型的人来说，到 2025 年底，编程将更像是编排一堆由小智能体执行的小任务。任何具有非常清晰规范的公关请求都应该可以通过 o4 系统完成，并且错误率足够小，可以接受。这里的一个问题可能是上下文窗口太小，无法包含整个代码库，但像山姆这样的领导者很清楚这一点。
人工智能会很快淘汰所有软件工程师吗？不会。软件工程不仅仅是根据非常清晰的提示创建公关请求。与数学家不同，软件工程师不断地与物理世界互动，特别是与其他人互动。工程师必须与客户合作以了解他们的需求，并与团队成员合作以了解他们的需求。当工程师设计架构或编写代码时，他们会考虑到大量的组织背景。o4 无法做到这一点。但是 o4 可以帮助那些了解这些背景的工程师以 10 倍的速度前进。
如果软件工程师的效率提高了 10 倍，那么我们可能需要更少的人吗？是的，如果你只看一家特定的公司，他们可能确实需要更少的软件工程师，因为他们可以用更精干的团队实现相同的产出。然而，整个世界对高质量软件的需求可能会增加 10 倍，因此我认为我们会看到精干公司应用的黄金时代。为每个人和每个企业提供个性化的微型应用程序。
长期来看（超过 2 年就算长期了，笑），软件工程将完全不同，很难说会变成什么样。当 o6 系统存在并完全集成到我们的应用程序中时，怎么可能不发生改变呢？像前端工程师这样的职位可能在 3 年后就不存在了。这很奇怪吗？其实不然，前端工程师这个职位 30 年前也不存在。
我们应该退一步认识到，软件每隔一代都会发生翻天覆地的变化。软件一直是并将永远是关于将需求转化为纯粹的逻辑。这个转换过程的抽象层级已经从二进制上升到了 Python。现在的不同之处在于，它正在上升到英语。
转向英语使非技术人员也能进行编程。但最好的构建者仍然是那些能够上下移动抽象层级的人。
简而言之，因为软件工程实际上就是通过代码理解和解决组织的需求，所以软件工程完全自动化的那一天，就是所有组织都实现自动化的那一天。
我们已经谈论了一些知识工作者，那么体力劳动者呢？人工智能也会影响到你们，但速度会慢一些，因为它必须处理重力和摩擦。但是 o 类模型不会对机器人技术有太大帮助，因为一个需要一个小时才能完成的模型对工厂生产线上的机器人没有帮助。基础模型变得更智能确实有帮助，而且 o 类模型将有助于训练这些模型，但我认为这并不能解决机器人技术进步的最大瓶颈。我猜最大的瓶颈是硬件改进和用于感知+行动的快速/可靠的模型。这两者都需要更长的时间才能改进（例如，还需要几年时间）。只有当机器人开始制造机器人，人工智能开始进行人工智能研究时，机器人技术才会出现疯狂的快速进步。这可能来自 o 类模型，但我认为那还需要几年时间。
我一直在用“年”作为单位来讨论，但也许我们真的应该用“算力”作为单位。时间决定了人类的产出，但算力决定了人工智能的产出，而且人工智能的产出在研究机构中将越来越重要。这就是为什么建造超级集群的竞赛正在进行——Meta 的 2GW 集群、Xai 的额外 10 万个 H100 等等。
所有的实验室都会迅速效仿 OpenAI，使用测试时的计算模型，有些实验室可以通过更多的计算来弥补最初较差的算法。他们会像追赶 GPT-4 一样追赶上来。要制作这些模型，需要结合常识和每个实验室的秘密武器。目前尚不清楚 OpenAI 的 o 类模型有多少秘密武器，但他们的改进速度表明，这是一种算法上的进步（更容易复制），而不是某种独特的数据组合（更难复制）。
在测试时计算的时代，我不清楚拥有更多的计算能力还是更好的模型更重要。一方面，你可以通过投入更多的测试时计算能力来弥补较差的模型。另一方面，稍微好一点的模型可能会节省指数级的计算量。
如果 Xai 因为更擅长启动大规模集群而赶上 OpenAI，那就有点搞笑了。
无论如何，不会有持续超过一年的模型护城河，因为实验室像交换棒球卡一样交换研究人员，而且更重要的是，实验室之间的研究人员会一起聚会和睡觉。另外，我认为研究人员太理想主义了，如果情况失控，他们不会不分享信息。
我们现在的处境有点疯狂。人工智能竞赛就像核竞赛，但美国人和苏联人在周末会一起在洛斯阿拉莫斯聚会，并在推特上互相调侃说：“我打赌你 2025 年不会拥有最大的核武器，哈哈：)”
在政府介入和/或发生一些非常糟糕的事情之前，人工智能竞赛会继续感觉像是嬉皮士和热爱自由的活动。
o 类模型以一些有趣的方式改变了计算规模扩大的动态。
o 类模型激励大规模的建设，因为每次计算能力增加一个数量级，它们都有明显的收益。计算供应商不可能要求更好的扩展定律了。我猜山姆在想要建造一个数万亿美元的计算集群时，看到的就是这个定律。
这实际上可能对英伟达不利。o 类模型使推理比训练更重要。我认为构建超级优化的推理芯片比训练芯片更容易，因此英伟达在那方面没有那么大的护城河。
非常投机的想法：如果 o 类模型能够利用全世界聚合的计算能力来训练最好的模型呢？如果开源通过将我们的 Macbook Pro 组合成一个推理千兆集群而击败闭源，那会有多酷？
现在除了计算能力之外，另一个新的指数级增长因素是代码本身。如果一个实验室拥有最智能模型的独特/特权访问权，因此他们的软件工程师的效率比其他实验室高 2 倍，那么他们就能更快地接近下一次生产力翻倍。除非代码速度达到上限，并且有大量的实验排队等待运行，而实验室再次受到计算的限制。（我不知道，这些动态很难把握。看到实验室如何建模他们在计算和人员方面的支出，会非常酷。）
尽管所有这些计算能力建设和知识工作自动化听起来很疯狂，但当科学家开始感受到通用人工智能时，事情才会变得真正疯狂。我想到了你们，物理学家、化学家、生物学家。
它会从任何以“理论”开头的学科开始。理论物理学是第一个。如果数学真的被解决了（即使写出来听起来都很荒谬，但这并不能说明它不可能发生），那么理论物理学也不会差太远。它也存在于符号领域，而大型语言模型将在那里超越人类。
当我们在路易斯安那州的各个领域（Meta 即将建成的数据中心）拥有 100 万个人工智能冯·诺依曼日夜工作时，会发生什么？他们会以多快的速度阅读过去一个世纪成千上万篇物理论文，并立即吐出更多正确的 token？
显然，这是故事中很难预测的部分。理论物理学、化学、生物学——如果这些对经过强化学习训练的大型语言模型来说只是个笑话呢？我们现在有什么合理的论据可以证明它不会发生？是的，我们还没有从这些模型中看到真正的创新，但它们大多处于高中/大学水平，而这些年龄段的人并不会发明新的物理学。我们现在处于博士水平，因此我们可能会开始看到一些创造力。
一旦人工智能开始产生新的科学理论，进步的瓶颈将是在物理世界中的测试和实验。那里的瓶颈是劳动力和材料。到那时，如果没有能够制造更多机器人的机器人，那将是令人惊讶的。因此，劳动力问题得到解决。然后，机器人可以开采材料。这里的进展时间会很慢，因为建造/运输实物需要很长时间，但这只是几年而不是几十年的事情。
我上面所说的一切都假设人工智能+机器人技术的研发不会出现新的瓶颈，并且允许模型按其意愿学习。这几乎肯定不会发生。人工智能进步的最大瓶颈将是人类。我的意思是监管、恐怖主义和社会崩溃。
政府不会袖手旁观，让地球被几家旧金山公司运营的自动化机器人开采（监管）。如果政府无能为力阻止他们，那么愤怒的失业人员可能会诉诸暴力（恐怖主义）。除非人们被人工智能强化的媒体搞得脑子都坏了，无法作为一个社会正常运转（社会崩溃）。
如果发生战争，我认为它不会是瓶颈，而是加速器。
事情会变得很严重。2025 年可能是人工智能还是旧金山科技推特上用来玩梗的狂野事物的最后一年，在此之前，那些穿西装的普通人会参与进来，所以让我们在还可以的时候好好享受 Roon 和 Sama 吧。
这会杀死所有人吗？我更害怕人类滥用人工智能，而不是人工智能失控。
我们有 5000 年的证据表明人类使用最新的技术互相残杀。二战后的和平是一种异常现象，一旦美国失误，或者当对手认为先发制人对于阻止人工智能加速是必要的时候，这种和平就有可能瓦解。当武器变得更致命、更自主时，风险就会更高。
另一个巨大的风险是人工智能导致社会混乱。人工智能生成媒体可能会导致大规模的混乱、歇斯底里和脑部腐烂。一个专制国家可能会赢得人工智能竞赛，并利用新技术剥夺我们所有人 1000 年的自由。
另一个风险是人工智能失控。这意味着它会导致我们无法预测的灭绝级别的事情。尤其是在强化学习重新加入游戏的情况下，人工智能现在正在发现自己的优化，而不是试图匹配人类数据（匹配人类更安全）。但到目前为止，这些模型的底层大脑仍然是一个大型语言模型，而大型语言模型已经证明它们只是理解人类。例如，如果你在提示中加入“确保不做任何可能杀死我们的事情”，那么你就有责任声称它仍然有可能杀死我们。当然，我没有考虑这里的所有论点，但当我对人工智能反乌托邦感到恐惧时，我看到的是中国和俄罗斯的国旗，而不是 OpenAI 的标志。
我绝对是兴奋多于恐惧。
我一直想要的科幻世界正在到来。它来得比预期的快一些——因此才会有恐惧——但在到达那里的所有可能路径中，我不确定最好的路径还能好多少。这是一个非常棒的时间线。
我希望在十年内发生的最重要的事情：
这些不再像是科幻小说，它们感觉像是近在眼前的科学现实。
那么这一切将走向何方？最终，我们会得到超级智能，这意味着我们将得到物理定律允许的任何东西。我希望长生不老，并看到其他恒星系统。我还希望将我们的肉身升级到更好的东西。但到目前为止，我最兴奋的是了解宇宙的起源。10 年前，我开始写日记，记录我有多想知道这个答案，以及人工智能将如何帮助我们实现这一目标，而现在这实际上可能正在发生，这太疯狂了。
我们现在生活在一个所有这些都听起来合理的世界中。每一项新的人工智能发展都使更多的人意识到这一点，而 o3 是最新的发展。
现在，未来不精彩的唯一方式就是我们人类搞砸了。我们的公众舆论、我们的下游政策、我们的社会稳定、我们的国际合作——这些都是可能阻碍这个精彩未来的障碍。
人们认为人工智能实验室的人正在控制我们的未来。我不同意。他们的工作已经确定。他们只是在执行迟早会在一个实验室或另一个实验室发生的模型架构。
但我们的公众舆论、我们的下游政策、我们的社会稳定、我们的国际合作——这些是完全不确定的。这意味着我们共同拥有未来的保管权。
我们每个人都有责任帮助我们的世界度过未来的疯狂时期，这样我们才能拥有美好的未来，而不是可怕的未来。
有很多方法可以提供帮助。帮助构建在某种程度上使社会更稳定或使人们更聪明的产品（例如：一个帮助人们调节社交媒体的应用程序）。帮助人们了解正在发生的事情（社交媒体上更高质量的评论、一个非常好的搜索引擎等）。帮助清理我们的街道，这样那个要求把我们都带入乌托邦的城市看起来不像一个反乌托邦（参与当地政治）。
几乎所有我交谈过的人都害怕在人工智能世界中失去意义，你可能也是这样。我想对你说，难道不是完全相反吗？你正生活在历史上最重要的时刻，并且你有能力影响它。帮助拯救世界应该就足够有意义了吧？你想回到一个只有你的职业生涯在进步而世界没有进步的时代吗？
也许人们需要进行的转变是从通过个人成功获得意义转变为通过集体成功获得意义。我们目前的许多工作很快就会自动化。我们必须适应。如果你从一项特定的技能中获得意义，那么这项技能可能在 5 年后就不再需要了，你就会倒霉。但如果你可以从尽你所能帮助世界中获得意义，那么这种意义永远不会消失。
对于那些因为 o3 而被给予建议的新毕业生，我的建议是：学习如何成为 1) 一个高能动性的问题解决者和 2) 一个出色的团队合作者。你在此过程中学习的特定技能并不重要，因为世界变化太快了。但是，积极解决问题并与团队良好合作将在很长一段时间内都很重要。
你可能还需要接受在一个不稳定的世界中过着不稳定的生活。这会变得很奇怪。你可能不会在郊区拥有两个孩子和一条狗。你可能会在星际方舟上拥有两个半机械人孩子和一条人工智能狗。
我们正生活在通用人工智能的前夜，在这个圣诞节前夕，我请求你帮助通用人工智能的过渡顺利进行，以便我可以在公元 3024 年圣诞节前夕，在距离 4 光年远、环绕着奥特曼半人马座的行星上和你打招呼。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |