01.
Altera 入局,
你的 AI 游戏搭子已上线
埃森哲在其 2024 年 Trends Reports 中表示,接下来的几年将迎来 agents 生态的蓬勃发展。如何创造更像人类、有个性、有想法,能积极响应、和人类交互的个体成为重点。
First Spark Ventures 的创始合伙人Aron Sisto 提到,AI 伙伴蕴藏着巨大的潜力,然而目前的 AI 缺乏同理心、具身体验、个人驱动等关键人类特性,阻碍了我们与他们建立有实感的长期链接。
这也正是 Altera 的切入点——创造更像人类的虚拟伙伴,致力于构建能和我们一同生活、爱和成长的数字人类。相比co-pilots,Altera 认为未来的数字人类更应该像一个co-workers ,成为你的玩伴,与人类一起探索虚拟世界。

在 Altera 之前,也曾有有一款产品风靡我的世界(Minecraft),那就是Voyager —— 第一个在Minecraft 以连续方式探索世界并获得 Diamont Tool的由 LLM 驱动的 agent。
和 Voyager Minecraft bot 类似,Altera 自主 agents 也能像人类一样完成建筑、工匠、农业、交易、挖矿、攻击、装备、交谈和移动等任务,有自由的思想意志和决策能力,能够让你在游戏过程中有更丰富的体验。目前第一款产品为和你一起玩Minecraft 的游戏伙伴,已经开放测试申请。
Altera项目来自华人创业者杨光宇(Guangyu Robert Yang)。Robert 本科就读于北京大学物理学专业,随后又依次在耶鲁大学、纽约大学、哥伦比亚大学攻读神经科学领域 PhD 并完成博士后研究。
本次创业前,Altera 在 MIT Silverman 实验室带领 15 人研究团队从事大脑“多系统神经网络模型”的研究,并发表有关低成本互动社交代理的研究论文。2024 年 2 月,Robert 正式关闭 MIT 的实验室,投身 Altera 的创业中。

02.
Altera vs Voyager,
Agent 的实现思路有何不同?
不少人好奇,Altera agents 和 Voyager bots 的区别和提升。简而言之,Altera 能够用更低的成本、更少的 LLM 依赖实现游戏中的复杂高阶的目标。创始人 Robert 号称 Altera 对比 Voyager 能够节约 10-20 倍的成本、可以通过更便宜的大模型(GPT-3.5)来完成任务、并实现了 agents 的完全自治。
各 agents 在 Minecraft 中的表现对比,来源 Robert twitter
Voyager 实现解析
Voyager 通过三个关键组件来满足 agents 达到人类玩家水平需要的三个能力:
1. 最大探索的自动课程表来实现 agents 能够以自主驱动的方式持续探索世界,并寻找新任务;
2. 可以存储和检索复杂行为、可增长的技能库实现 agents 根据环境调整技能并迁移的能力;
3. 通过迭代提示机制来满足 agents 能够根据当前技能水平和世界状态提出合适任务的能力。
Voyager 实现了无需人工干预,能够在 Minecraft 以连续方式探索世界、获得多样技能并进行发现的 LLM-driven agents。Voyager 在 Minecraft 中能够持续发现新物品、解决技能树、穿越多样的地形并将其学习的技能库应用于未见过的任务。但 Voyager 的三个关键组件均对高成本模型 GPT-4 有较深的依赖,尤其是依赖 GPT-4 的代码生成能力。
尽管引入迭代提示机制,但仍存在无法生成正确技能的不确定性。另外大模型的幻觉会导致在自动课程提出无法实现的任务,代码生成过程中偶尔会调用 API 不存在的函数导致代码执行错误。
Altera 实现解析
在 创始人 Robert 实验室的研究论文(Lyfe agents)中,我们可以窥见 Altera 的实现原理,研究通过采用层级选择-行动框架、不断总结和遗忘的记忆机制尽量减少对于 LLM 的召回,能够较低成本的情况下实现 agents 目标一致性并具有行为自发性和一定的社会性。
研究中展示,通过一个高层次的总控、三个组件架构实现 agents 目标导向来获取、传递、推理信息的能力,类人的情绪和反思决策能力。
a. 整体架构中输入由感觉模块处理,并输出给 agent 内部状态并指导行动;agent 内部状态通过外部输入和内部循环处理持续更新,并与记忆系统联动。
b. Lyfe agents 采取类似大脑前叶层次化的方式决策行动,高层次的认知控制器接受信息,通过 LLM 输出一个行动选项和一个子目标指导下一层行动。
c. 自我监控模块,不断整合旧的总结和 agent 状态,针对新颖的、目标相关信息进行总结。在提高 agent 的目标遵循和行为一致性基础上,减少了信息处理的计算成本。该模块保持与行为模块异步执行,允许 agents 深思熟虑不影响及时的行动。
d. 记忆的关键不仅在于存储和检索,更重要的是识别到对有价值的信息、有选择性的决定信息的去留。Summarize-and-Forget 记忆机制,通过 Embedding 不断对信息进行聚合、评估和筛选,仅保留关键信息。

Lyfe agents 自主社交代理
实验在三个模拟的社会场景(谋杀、社团、病患紧急事件)中展现如上能力并完成最终目标:
在谋杀场景中 agent 在包含人类、其他 agents 的多角色交互中收集信息并推理出最终凶手;在社团选择场景下,agent 的选择倾向会受到社交关系中其他 agents 的偏好、决策影响。
值得一提的是,模拟的场景均为 3D 环境,允许 agents 实体化、具身化;agents 具有人类的邻近响应特性允许群聊场景发生;每个 agent 具有自己独特的个性和背景并在过程中不断积累形成自己独特的记忆。
目前 Altera 处于内测阶段(申请入口见前文),正与 750 名 Minecraft 的玩家测试中,预期在夏末正式发布。
不过,Minecraft 对于 Altera 来说只是一个起点,他们计划将模型引入更多游戏和虚拟体验中。他们正在积极开发 APIs 和 SDKs 为未来更大范围的使用打下基础。至于为什么选择游戏作为出发点,创始人说到“我们在游戏领域看到了构建 agents 的巨大潜力,这里有热切的用户,我们可以采集更多数据、更快地迭代产品,并且在游戏里,这些即兴的行为更是一个特性而不是 bug”。
03.
AI 在游戏中的应用盘点
盘点 AI 在游戏中的重要应用,我们发现生成式 AI 已经在游戏场景解锁了不少可能性,从加速游戏设计流程、提升游戏体验,到激发创意、推动个性化,生成式 AI 彻底改变了游戏的开发与消费方式。
模拟类游戏在上个世纪 90 年代开始兴起,生成式 AI 地使用让 agents 更加鲜活,以即兴的社会行为大幅度推进模拟游戏的发展。在 Voyager 和 Altera 之前,微软更早开始尝试在 Minecraft 游戏中引入 agents。在斯坦福和谷歌的最新研究中,利用 LLM 创建具备深度交互能力的游戏代理,这些代理不仅增强了游戏的沉浸感和趣味性,甚至有机会提供就像《楚门的世界》那样非预设剧本的观赏性,并打开 AI 陪伴的新纪元。
Generative Agents: Interactive Simulacra of Human Behavior