专访递归神经网络之父:AI下一轮革命核心是“人工好奇心”

  • 日期:09-11
  • 点击:(756)


“通过小行星带外无数自我复制的机器人工厂,人工智能将改变太阳系,然后在几十万年内改变整个星系,在几百亿年内改变到宇宙的其他地方,只有光速是有限的,可以停止。”

“宇宙还很年轻,比现在老很多倍。我们应该有足够的时间扩展人工智能领域,实现和转换人工智能的所有内容。展望未来,宇宙将比现在大一千倍,然后,宇宙回顾并说:“几乎在大爆炸之后,仅仅140亿年后,整个宇宙开始变得智能化。”

“人类在宇宙中传播智慧的过程中并没有扮演重要的角色。但没关系。不要把人当作创造之冠。相反,将人类文明视为更具野心的计划的一部分,是宇宙走向更大复杂性的重要一步。(但不是最后一步)现在,它似乎已经准备好迈出下一步,这相当于35亿年前生命发明本身。”

以上三段不是科幻电影的台词,也不是科幻小说的描写。德国计算机科学家J_rgen Schmid Houber是人工智能复发神经网络之父,他在2019年世界人工智能大会上收到了这一消息。(人工智能访谈。

0x251C J_rgen Schmidhuber,由受访者提供

在人工智能领域,德国计算机科学家于尔根施密杜伯是一个有争议的存在。《纽约时报》在人工智能研究领域,他曾被称为罗德尼丹格菲尔德(Rodney Dangerfield)(美国喜剧演员,20世纪80年代以“没人尊重我”而闻名),他认为自己在人工智能领域的开创性研究并没有受到太多关注。

1997年,Schmidt Hube提出了长短期记忆(LSTM),它为神经网络提供记忆形式并提高准确性。然而,由于当时计算机能力的限制,LSTM的概念直到近几年才得以普及。目前,LSTM已广泛应用于Facebook的自动翻译,谷歌的语音识别,Apple的Siri和亚马逊的Alexa。 Schmid Hube还为无人监督的对抗性网络,人工好奇心和元学习机器做出了贡献。他的实验室培训了Alpha Dog Team的四位创始成员中的两位。

除了对学术成就的关注不满之外,施密德胡贝特经常因其看似夸张的言论而受到批评。一些科学家认为,他对技术进步速度的乐观是毫无根据的。

灵感来自科幻小说,从15岁起,施密德胡贝尔的主要目标是建立一个比他聪明且自我提升的人工智能,然后退休。目前,他是瑞士AI公司NNAISENSE的联合创始人兼首席科学家,他希望在那里建立第一个实用的通用AI。

Schmidt Hube还是瑞士IDSI人工智能实验室,USI&瑞士的科学主任,以及SUPSI大学的人工智能教授。

人工好奇心将成为下一轮人工智能的核心。智能机器人主要从他们自己发明的实验中学习,偶尔也会从人类身上学习,他在上对记者说。

目前,机器人的智慧仍然无法与儿童甚至一些小动物相媲美。但施密德胡贝在接受采访时说,在不到几年的时间里,我们将能够建立一种人工智能,逐渐变得像小动物,好奇心和创造力一样聪明,并继续学习。如何计划和推理,以一种无处不在的方式将各种问题分解为可以快速解决(或解决)的子问题。

“一旦我们拥有动物级人工智能,我们可能会在几年或几十年内拥有人类级的人工智能。到那时,所有文明都将发生变化,一切都将改变。“

JürgenSchmidhuber,由受访者提供

“机器将从它发明的实验中学习,并偶尔向人类学习”

澎湃新闻:你对人工智能的定义是什么?

JürgenSchmidhuber:人工智能是一门自动解决问题的科学,特别是通过自动学习来解决以前未解决的问题。

澎湃新闻:您的其他兴趣是无监督学习(学习时不提供监督信息,预测的真实价值)。在不久的将来,该领域取得了哪些新进展?

JürgenSchmidhuber:目前的商业应用主要集中在监督学习,这使人工神经网络模仿人类教师。在许多实验中,Linnainmaa在1970年提出的方法(通常称为反向传播)用于逐渐削弱某些神经连接并加强其他神经连接,使网络更像教师。通过这种方式,我们的LSTM神经网络已经学会了为数十亿智能手机上世界上最有价值的公司进行语音识别和自动翻译。但问题是人类教师需要提供所有的培训数据。

没有老师,婴儿可以学到很多东西。当他们与世界互动时,他们会学会预测他们行为的后果。他们也很好奇,将使用玩具设计实验,从中获取新数据,并了解更多信息。

为了建立一个好奇的代理人,我在1990年引入了一种新型的主动无监督学习。它基于最大和最小游戏,其中一个神经网络最小化一个目标函数,而目标函数由另一个网络最大化。那它如何具体工作?第一个网络称为控制器,它会生成可能影响环境的输出。第二个网络称为世界模型,它预测环境如何对控制器输出作出反应。世界模型的目标是最小化其错误并成为更好的预测器。但是在零和游戏中,控制器试图找到最大化世界模型误差的输出。也就是说,控制器想要找到一个新的实验,该实验可以生成世界模型仍然不熟悉的数据,直到世界模型熟悉为止。现在,比1990年便宜一百万倍,我们使用这个简单原理的简单变体来构建无人监督的机器人,为自己设定目标并在此过程中得到解决。越来越普遍的问题。

澎湃新闻:无监督学习的成熟度会对人类产生什么影响?

JürgenSchmidhuber:人工好奇心将成为下一轮人工智能(有时被称为“第四次工业革命”)的核心,智能机器人和其他机器将通过自己的行动塑造它们。数据。他们将主要从他们发明的实验中学习,偶尔也会从人类身上学习。

它还没有出现,但在不久的将来,我们将在采访中提到“展示和通知机器人”,“观察和学习机器人”或“观察和行动机器人” - 人类很快就会遇到一个复杂的机器人展示如何通过智能手机执行复杂的任务,如视觉演示和对话,而无需触摸或指导机器人,整个过程就像我们教育孩子一样。

下一轮人工智能将更广泛地影响经济;当前的人工智能浪潮主要涉及营销和广告,以智能手机的被动模式识别的形式。当前的被动人工智能分析您的单词,面孔,偏见和阅读偏好,以预测您可能感兴趣的文章,使您可以在平台上停留更长时间,从而允许您点击更多广告。当然,参与当前人工智能浪潮的公司(亚马逊,阿里巴巴,Facebook,腾讯,谷歌等)目前是最有价值的公司,但营销和销售广告只是世界经济的一小部分,下一步人工智能的浪潮将会扩散并影响所有的工业生产。

“整个宇宙开始变得聪明”

澎湃新闻:在遥远的未来会发生什么?

JürgenSchmidhuber:从长远来看,为自己设定目标的AI会尝试改进自己,主要是使用我们自1987年以来发布的元学习方法。他们将学习如何改进他们的学习程序并消除他们的局限。

他们到底会做什么?空间对人类是敌对的,但对精心设计的机器人很友好,这些机器人比我们的生物圈提供更多的物理资源,生物圈接收的光线不到十亿分之一。尽管一些好奇的人工智能仍然会被生活所吸引,至少只要他们不完全理解它,大多数人工智能将对太空中令人难以置信的新机会更感兴趣。通过小行星带外无数自我复制的机器人工厂,人工智能将改变太阳系,然后改变整个星系数十万年,其余的可达宇宙数百亿年,只有光速限制可以阻止它。 (人工智能或部分人工智能很可能通过无线电从发射器传输到接收器,但将它们放置到位需要相当长的时间。

这与20世纪科幻小说中描述的关于银河帝国和智能人工智能的场景截然不同。小说中的大多数情节都以人为本,因此不切实际。例如,为了实现星系的长距离与人类寿命之间的兼容性,科幻小说作者发明了物理上不可能的技术,例如扭曲驱动器。然而,不断增长的人工智能领域对物理速度限制没有任何问题。

宇宙还很年轻,它将比现在大许多倍。我们仍然应该有很多时间来扩展AI领域以实现和转换其所有内容。展望未来,宇宙将比现在大一千倍。然后,回顾过去,宇宙说,“几乎在大爆炸之后,仅仅140亿年后,整个宇宙开始变得聪明。”

当然,人类不会在宇宙中智慧的传播中发挥重要作用。但没关系。不要把人视为创造的王冠。相反,将人类文明视为更雄心勃勃的计划的一部分,是实现宇宙更大复杂性的重要(但不是最后一步)。现在它似乎准备采取下一步,这与35亿年前的生命本身的发明相当。

这不仅仅是另一场工业革命。这是一个超越人类甚至生物学的新事物。我有幸目睹这一切的开始,并为之做出一些贡献。

“人工通用智能的拼图已经开始就位”

澎湃新闻:人工智能作为一门学科和一个产业近年来受到了广泛关注。你如何看待这种现象?以历史为鉴,我们是否应该警惕另一个人工智能冬天的可能性?

施密杜伯:我看不到人工智能冬天的到来,因为人工智能已经改善了世界各地的生活,尽管很多人不知道这一点。例如,截至2016-2017年,我们的LSTM已经渗透到现代世界,占据了地球计算能力的很大一部分,使许多人的生活更容易,人们的生活与之密不可分。这是即将到来的大规模人工智能浪潮的高潮…

澎湃新闻:你如何预测人工通用智能(AGI)的发展?现阶段阻碍agi的因素有哪些?

Jürgen Schmidhuber:我们在21世纪初的瑞士人工智能实验室开发了数学上最优的通用人工智能和问题解决程序,比如Marcus Hutt为所有定义明确的问题开发的最快算法,或者我的元学习,自我参照,自我提高?戴尔机器。这些系统在理论上是最优的,但不够实际。这就是为什么我们仍在做生意,试图弥合理论和实践之间的鸿沟。我认为这一差距将缩小;许多重要的见解已经存在,而拼图的各个部分已经就位。

我认为许多进步将基于两个相互作用的递归神经网络(RNN)。回想一下我告诉你的关于人工好奇心的事情。其中一个RNN是一个控制器,它学会将输入数据(例如视频,音频,饥饿和疼痛信号)映射到一系列动作,这些动作可以最大限度地奖励并最小化疼痛,直到代理人的生命结束。另一个是一个世界模型,可以了解预测环境如何对行动序列做出反应。前者可以使用后者来计划,思考和提高解决问题的能力。我们的第一个这样的系统可以追溯到1990年,但现在我们更清楚如何使它变得更好。

此外,我们仍然受益于这样一个事实:每五年,相同价格的计算能力可以增加大约10倍。与摩尔定律不同,摩尔定律认为每个微芯片的晶体管数量每18个月增加一倍,而这种趋势最近已被打破。自Konrad Zuse于1935 - 1941年建造第一台可编程控制计算机以来,这种趋势一直持续。今天,75年后,相同价格的硬件价格增加了一百万倍。如果这种趋势没有被打破,我们很快将拥有具有人类大脑原始计算能力的廉价设备。几十年后,计算设备将拥有100亿人的大脑计算能力。

“至少和小动物一样聪明”

澎湃新闻:在LSTM和GRU之后,RNN是否有可能拥有新的骨干网络结构?如果是这样,会有什么改进?

JürgenSchmidhuber:尽管LSTM现在消耗了世界上大部分的计算能力,但没有证据表明LSTM是最好的递归神经网络。 (更不用说较弱的LSTM变体GRU,它是许多LSTM变体之一。)事实上,在2009年,我们已经有一个自动设计类似LSTM架构的系统,至少在某些应用程序中优于普通的LSTM。这种“神经结构搜索”现在被广泛使用,也许我们可以开始期望人工智能的下一个重大突破是由人工智能本身产生的。

澎湃新闻:人工智能的下一个突破可能出现在哪些领域?当前人工智能登陆应用的真正困难是什么?例如,机器翻译和阅读理解有哪些困难?

JürgenSchmidhuber:目前,基于人工智能的翻译和阅读理解也不错。但在现实世界中,机器人人工智能比这更困难,而且它比简单棋盘游戏(国际象棋,游戏)或视频游戏(星际游戏,Dota游戏)的人工智能困难得多。儿童,甚至一些小动物,仍然比我们最好的自学机器人更聪明。但我认为,在不到几年的时间里,我们将能够建立一个基于RNN的人工智能(RNNAI),它将逐渐变得像小动物一样聪明,充满好奇和创造力,并不断学习如何规划和推理将问题分解为可以以无处不在的方式快速解决(或解决)的子问题。

一旦达到动物级人工智能,人类人工智能的下一步可能很小:智能动物的进化需要数十亿年,人类只进化了几百万年。技术进化比生物进化快得多,因为死角的清除速度要快得多。也就是说,一旦我们拥有动物级人工智能,我们可能会在几年或几十年内拥有人类级的人工智能,真正无限的应用,每个企业都会改变,所有文明都会发生。改变,每件事都会改变。

“上海的努力给我留下了特别深刻的印象”

澎湃新闻:您如何看待中国在学术界和工业界的人工智能发展?你为什么决定参加世界人工智能会议?

JürgenSchmidhuber:虽然人工智能和深度学习是在上个世纪在欧洲发明的,但中国和美国目前在将人工智能转化为金融利润方面表现良好,特别是通过阿里巴巴和亚马逊,腾讯和Facebook,百度和大型平台公司比如谷歌。

中国在人工智能领域取得领导地位的决心给我留下了特别深刻的印象。尽管瑞士人均智力研究对人工智能研究的影响仍然是世界上最高的,但就绝对数字而言,中国现在是人工智能年产量最大的国家。因此,我预计在不久的将来,我们将看到中国人工智能的显着发展。

上海的努力给我留下了特别深刻的印象。瑞士的经济规模与上海差不多。但是,瑞士目前只投资了一小部分人工智能。我希望上海能够在人工智能领域做出明智的投资,然后我们会看到人工智能的突破起源于上海。