品玩

科技创新者的每日必读

打开APP
关闭
大模型

人类被AI“毁灭”,一定是从教它玩《我的世界》开始的

通关《我的世界》之后,AI更像个“人”了。

李禾子

发布于 2023年6月3日

上周,几乎是前后脚,英伟达和国内几家科研机构分别发布了两份内容相似的论文。

首先是英伟达宣布开发出了一个全新的游戏AI智能体VOYAGER,将AI大模型GPT-4接入了《我的世界》(Minecraft)游戏。基于GPT-4VOYAGER能够在《我的世界》里扩充着自己的物品和装备,完成诸如建造房屋、挖矿、收集仙人掌和狩猎等基本生存技能;也能独立进行开放式探索,去到不同的城市和地点,甚至是自己搭建传送门。

英伟达称VOYAGER在《我的世界》里获得的物品增加了3.3倍,旅行距离增加了2.3倍,解锁关键技能树的速度也比之前的方法快了15.3倍。

接着就是商汤科技联合清华大学、上海人工智能实验室等机构发布了通才AI智能体Ghost in the MinecraftGITM

同样是将大语言模型(LLM)整合进《我的世界》,GITM在《我的世界》内主世界的所有技术挑战上实现了100%的任务覆盖率(成功通关解锁了完整的科技树),而此前所有智能体的总和只能覆盖30%;另外在获取钻石任务上,GITM成功率达67.5%,同样相比于此前的最佳成绩——OpenAIVPT方法大幅提高了47.5%

GITM在《我的世界》的任务覆盖率远高于现有AI智能体
GITM在《我的世界》的任务覆盖率远高于现有AI智能体

直白点说,他们都选择了《我的世界》这款游戏来训练AI,并且AI都实现了真人玩家能够完成的几乎所有游戏任务,堪比是能以假乱真的效果(这放在几个月前还是不可能的事)。

我们先抛开看起来艰涩的技术细节不谈,为啥他们不约而同都迷上了拿《我的世界》做实验?

《我的世界》就是个大型AI试验场

要说起在《我的世界》里训练过的AI,那可就太多了。

著名的莫拉维克悖论是这么说的:一些任务对于人类而言很困难,例如下棋,但对AI来说很简单;而像《我的世界》这样开放世界中与环境交互、进行规划和决策等对人类来说较为简单的事情,对AI来说却是巨大挑战。

正因为这种情况的存在,在AI还不像现在这么发达的早几年,科学家们最初只是在《我的世界》里用AI完成一些简单的指令。

比如在2019年,Facebook研发过一款《我的世界》AI 助手“craftassist bot”,这是一个智能协作式的助理机器人,可以执行人类玩家指定的各种任务,如驯服马匹、建造城市、与村民会面及交易等。

也是在2019年,卡内基·梅隆大学、微软、DeepMindOpenAI,联合机器学习顶级会议NeurIPS共同举办了一个叫做“MineRL”的专门针对《我的世界》游戏的AI比赛,到2022年一共举办了四届。

这个比赛同样见证了AI在《我的世界》中的应用由简单到复杂的过程。

比如第一届MineRL比的东西还很简单:看哪个研究团员能够创造出可以在《我的世界》中成功开采钻石的AI。不过很惨,最后参加的900多个全球顶尖团队没有一个能完成挑战,一些AI撸掉木材却不会合成,一些AI造出了熔炉却不会冶炼,一些AI知道去地下挖矿,但却选择了垂直挖……

后来到了第三届,比赛内容就变成了看谁能训练出样本高效的《我的世界》AI智能体。这一届的冠军是以76.970分的绝对优势夺冠的腾讯AI Lab“绝悟

各种公司、机构密集开始在《我的世界》中训练AI其实也是最近五年的事。

美国国防高级研究计划局(DARPA)在20208月启动了自适应分布式概率任务分配(ADAPT)项目,以期在战场空间中利用AI协助指挥官进行决策,该项目的承包商Aptima公司用到的就是《我的世界》来训练AI与人类的互动能力。

2021年哥本哈根信息技术大学、纽约大学和上海大学的研究者也创建过一个使用3D神经元胞自动机(Neural Cellular AutomataNCA)的系统,并将该系统部署在了《我的世界》里,这个时候的NCA已经可以建造毛毛虫、城堡、公寓楼和树等复杂的实体。

比较出圈的一次实验是在去年。

OpenAI去年宣布由他们训练的AI已经做到了熟练游玩《我的世界》。通过引入一种新颖且便捷的AI训练法视频预训练(Video PreTraining,在向AI“投喂7万小时从相关合作方处获取的《我的世界》演示视频以及与视频配套的键盘鼠标操作记录后,OpenAI旗下的AI的操作已经相当传神,掌握了只有人类才能领悟的高阶玩法。

OpenAI在《我的世界》中的实操演示
OpenAI在《我的世界》中的实操演示

此外,DeepMind也在今年年初开发出了能够媲美OpenAI成果的名叫“DreamerV3”AI智能体。DreamerV3在没有任何人工数据辅助的情况下,被丢进《我的世界》里摸爬滚打了17天,惊人地学会了如何从0开始挖钻石,成了世界上第一个纯靠自己摸索,就能在《我的世界》里速挖钻石的AI智能体。

当时MineRL比赛的发起人之一William Guss都忍不住第一时间发来贺电:4年了,钻石挑战终于被攻克了!  

没有谁比《我的世界》更合适了

《我的世界》面世12年,已经成为世界上最受欢迎的一款游戏,被许多玩家形容为电子版的乐高。早在2019年,《我的世界》就超过《俄罗斯方块》成为全球销量最高的游戏。

《我的世界》开放世界的游戏属性让它成了科学家们训练AI的绝佳场所。

不同于LOL和王者荣耀等单一的战略对战游戏,《我的世界》并不预先设定目标,仅有的两个模式是生存创造生存模式中,玩家要造好房子并收集东西,保证活下来,即使是用来击退僵尸和蜘蛛的剑也需要玩家用木材和铁矿来锻造;创造模式则更加自由,玩家使用各种功能的立方体,自由构建建筑物和物体,而且游戏永远不会结束。

如果说LOL、王者荣耀或是很多棋类游戏因为简单的规则和游戏机制,可以让AI以极快的速度学习并超越战胜人类,《我的世界》游戏过程的复杂程度就几乎是在挑战AI的极限。

极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好,都增加了《我的世界》AI研究的难度。

比如,为了让AI15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石,看似只是一件小事,但对于AI来说,却需要掌握其中复杂的逻辑关系——这还只是《我的世界》游戏的一部分,除了制造工具,AI还需要给自己制定目标,学着在游戏世界里探索,直到解锁所有的游戏任务。

《我的世界》中找钻石的步骤
《我的世界》中找钻石的步骤

而如果只是学下棋或是打LOLAI只用知道怎么赢就行了。

是不是觉得,《我的世界》训练出来的AI,要比靠下棋、玩LOL训练出来的AI高级多了(虽然学习速度可能慢了点)?

事实上在当前的AI研究中,科学家们会越来越追求通用人工智能(AGI)的研究,追求打造更通用的AI智能体,也就是发展AI智能体能够掌握广泛的技能,适应各种环境变化,更深入地模拟和应对人类在复杂问题上的能力,像人一样的进行感知、理解和交互(而不是只会回答简单问题、下棋能赢人类那种小打小闹AI)。

这就意味着要训练通用AI,《我的世界》模拟的环境是非常合适的。

不过,开放世界游戏那么多,为什么又偏偏是《我的世界》呢?

有网友在推特向参与开发了VOYAGER的英伟达首席科学家Jim Fan发问说,既然VOYAGER是为开放世界而生,那为什么没有选择在《塞尔达》或者是《艾尔登法环》这样看上去更加宏大的开放世界游戏中作AI训练?

Jim Fan的回答是,这中间的主要难点其实并不是算法,而是因为《塞尔达》和《艾尔登法环》这样的游戏运用了缓慢且难以以编程方式控制高端控制台,并且需要一个好的编码API来控制角色。相较之下,《我的世界》的技术门槛要更低,在目标和玩法类似的情况下,《我的世界》实际也为AI训练降低了难度。

另外,《我的世界》对开发者也很友好。许多用于构建《我的世界》的代码库都是开源的,所以人们可以很容易修改。并且该游戏也允许研究人员记录和学习人们是如何一起完成任务的,然后观察他们将如何与AI智能体一起工作。

从这些意义上说,没有谁比《我的世界》来训练AI更合适的了。

这次《我的世界》里的AI有什么特别?

此次英伟达开发的VOYAGER,和商汤科技联合清华大学、上海人工智能实验室等机构开发的GITM,与过去基于《我的世界》训练的AI智能体最大的不同在于,引入了大语言模型(LLM)作为AI训练的核心方法。

以往在《我的世界》中训练AI用到的主流方法则是,模仿学习和强化学习。

即便是此前OpenAIDeepMind开发出的最先进的《我的世界》AI智能体,用到的训练方法也是模仿学习和强化学习。

打个比方,如果想让AI在《我的世界》里学会挖矿,模拟学习要做的就是先喂给AI上万个游戏视频,让它分析学习为什么要撸树,如何利用工作台进行分解合成,如何做出第一把镐子,如何冶炼铁锭,制作铁镐,获取钻石,如何避免落入岩浆,如何战斗等等挖矿的必要步骤。

等到投喂学习结束,AI接下来就要接受强化学习,也就是把AI小人扔进《我的世界》,让它去真正执行挖矿的任务,通过反复实验来发现和解决问题,从而真正学会挖矿这一技能。

但在大语言模型的训练方法下,AI的学习逻辑是被完全重构的。

依然拿挖矿来说,AI智能体自身会首先根据尽可能多发现不同的东西来帮助挖矿的总体目标去提问、自动生成许多小任务,通过去存储有助于成功解决某个任务的行动程序(比如撸掉树木再去进行合成被验证是正确的,造出了熔炉就要去冶炼也是正确的),AI就会逐渐建立起一个如何正确挖矿的技能库。而往后如果再遇到挖矿任务,AI就可以根据其描述的嵌入在技能库中进行检索。

大语言模型训练方法下的GITM
大语言模型训练方法下的GITM

也就是说,大语言模型的训练方法下,AI是可以自主驱动探索并掌握广泛技能的,这就使得大语言模型方法更能帮助AI成为一个终身学习者,能在较长的时间跨度内逐步获得、更新、积累和迁移知识,同时缓解了其他持续学习方法中的灾难性遗忘

VOYAGER探索物品量高于其他许多AI智能体
VOYAGER探索物品量高于其他许多AI智能体

有点像是一直让AI呆在学校里读书实习,还是让AI一开始就在社会里摸爬滚打的区别。

总而言之,用大语言模型方法在《我的世界》训练出来的AI更像一个真实的人了。

我们知道,一个理想的AI应该具有与人类类似的能力。《我的世界》里的AI不管是根据其当前的技能水平和世界状态提出合适的任务(如果发现自己处于沙漠而不是森林,就会在打铁前学会获取沙子和仙人掌),根据环境反馈完善技能并将掌握的技能存入记忆(比如打僵尸和打蜘蛛的技能类似),还是不断探索世界,以自驱动的方式寻找新任务,其实都已经和现实世界中人类的决策过程和行为方式非常相近。

说《我的世界》已经是一个缩小版的现实世界也许一点也不夸张。

而让人细思极恐的是,随着VOYAGERGITM的研究成果发布,AI现在已经能通关《我的世界》了。

这不禁让人猜想,AI是不是很快就能在现实世界里如鱼得水,它能像人一样生活,会做饭、会用手机、知道怎么穿衣服、怎么养宠物、怎么坐公交地铁……更不可思议的是,它还能像人一样有自己的想法,知道穿哪件衣服好看,怎么做饭能更好吃,电话应该打给谁……没准在不久的将来,我们在生活中遇到到的,都无法分辨它是不是AI

既然都能通关《我的世界》了,AI过上人的生活从技术上来讲也不是不能实现。

人类又会如何选择呢?

下载品玩App,比99.9%的人更先知道关于「大模型」的新故事

下载品玩App

比99.9%的人更先知道关于「大模型」的新故事

iOS版本 Android版本
立即下载
李禾子

品玩作者,关注技术和内容的结合,负责报道有趣。欢迎关注「22世纪漫游指北」公众号,线索采集微信:lhz_940107。

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测