“AI教父”Hinton：GPT-3远不如人类大脑自从上个世纪八十年代起

自从上个世纪八十年代起， “AI 教父”杰弗里?辛顿（Geoffrey Hinton）就一直在从事有关深度学习的研究。然而，研究成果却受到缺乏数据以及计算机功能不足的限制。不过，他对这项技术的执着态度最终还是给人类带来了巨大的益处。在第四届 ImageNet 大赛上，几乎每支团队都用上了深度学习技术，并且达到了惊人的准确率。不久之后，深度学习不仅在图像识别任务中得到了应用，还被广泛地应用于其它领域。
30 年前，人们都觉得提出的神经网络的想法是离经叛道。但辛顿表示，现在几乎所有人都认同了他的想法。
对于人工智能领域短板的看法，辛顿说：“很多概念性的突破必将接踵而至，但我们同样也需要进行大规模且有成效的性能提升。 ”
对于神经网络不足之处的看法，辛顿说：“含有大量突触的神经网络非常善于处理数据量较小的任务，但是人类自己在这方面更胜一筹。 ”
对于人类大脑工作方式的看法，辛顿说：“人的大脑内遍布神经活动的重要载体。 ”
现代人工智能革命起源于一场不起眼的研究竞赛。在 2012 年的第三届 ImageNet 大赛上，参赛团队要设计出一种能够识别 1000 种事物的计算机视觉系统，这些事物包括动物、自然景观以及人类等。
在最初的两届比赛中，最优秀团队的准确率也达不到 75% 。但在第三年，一名教授和他的两个学生却在短时间内突破了技术的天花板。他们以令人震惊的 10.8 个百分点赢得了比赛。这名教授就是杰弗里?辛顿，而他们所使用的技术被称作深度学习。
【“AI教父”Hinton：GPT-3远不如人类大脑】去年，鉴于辛顿对人工智能领域的开创性贡献，他与扬?勒丘恩、约书亚?本吉奥等人工智能先驱一道被授予图灵奖。 10 月 20 日，本文作者 Karen Hao（凯伦·郝）与辛顿在《麻省理工科技评论》杂志的全球新兴科技峰会上，就人工智能领域的现状以及未来的发展方向进行了交流。
文章插图
Karen Hao：您为何如此确信深度学习将会复制人类的智慧？
Geoffrey Hinton：我确实相信深度学习能做任何事，但目前还需要取得一些概念性突破才能实现这一点。例如， 2017 年阿施施?瓦斯瓦尼等人的论文介绍了一种转换器，它可以很好地表达词语的意思。这就是一种概念性突破。现在，几乎所有功能较为强大的自然语言处理系统都在使用这种技术。我们需要更多像这样的突破性技术。
Karen Hao：如果我们取得了这样的技术突破，那么深度学习会接近于人类的智能吗？
Geoffrey Hinton：是的。当神经活动的重要载体可以进行像推理这样的行为时，意味着我们已经取得了非常重要的突破。但在规模上，我们仍然需要获得巨大的提升。人脑约有 100 万亿个参数，或者说神经突触。而现在像 GPT-3 这样的可以被称作大型模型的程序，只有 1750 亿个神经突触。人脑神经突触的数量是它的上千倍。目前， GPT-3 可以生成看起来十分合理的话语。但与人脑相比，其生成量依然微不足道。
Karen Hao：当您谈到规模这个概念时，您指的是更庞大的神经网络，还是更多的数据，又或者是两者兼具？
Geoffrey Hinton：两者都有。计算机科学和人类行为之间存在着某种差异。相比他们所接收到的数据量而言，人类拥有大量的神经突触，而含有大量神经突触的神经网络却更善于处理数据量较小的任务。不过，在这一方面，人类更胜一筹。
Karen Hao：人工智能领域的许多专家都认为，具备常识是下一个需要解决的问题。您同意这种观点吗？
Geoffrey Hinton：我同意他们的观点，这是一项非常重要的问题。我还认为电机控制是一个非常重要的领域，而现在深度神经网络在这一方面能做的非常好。尤其在谷歌最近的研究中，你可以将精准的电机控制与语言结合起来，这样就能完成打开抽屉并从中取出一个积木的动作，而且系统还会用自然语言告诉你它正在做什么。
对于 GPT-3 这样的可以生成完美语句的模型来说，想要生成语句就必须先理解大量语句的含义，但是它到底能理解多少，我们并不是十分清楚。然而，如果某个东西打开了抽屉并取出了一个积木，同时还说道， “我刚刚打开了一个抽屉，取出了一个积木” ，那么它很有可能明白自己在干什么。
Karen Hao：人工智能领域一直将人脑当作其最大的灵感来源，而且人工智能技术的不同方法也源于认知科学中的不同理论。您认为人脑构建出外部世界的表现，是为了去理解它，还是这只是一种去思考它的有用方法？