#DeepTech深科技#深度学习两巨头预言：自我监督学习是让AI接近人类智能的关键在4月26日至5月1日举行的国际表征学习

在4月26日至5月1日举行的国际表征学习大会ICLR2020期间，深度学习三巨头中的YoshuaBengio和YannLeCun表示，自我监督学习可能会让AI在推理上更像人类，他们坦率地谈到了一些最新的研究趋势。
监督学习需要在标记的数据集上训练人工智能模型， LeCun认为随着自我监督学习的广泛应用，监督学习的作用将越来越小。自监督学习算法不依赖注释，而是通过暴露数据各部分之间的关系，从数据中生成标签，这一步骤被认为是实现人类智能的关键。

文章图片
图｜深度学习三巨头（来源：Fortune）
“我们作为人类学习的大部分知识和动物学习的大部分知识都是在自我监督的模式下，而不是强化的模式。基本上是通过观察世界，并与之进行一些互动，主要是以独立于测试的方式进行观察，这是我们不知道如何用机器复制的（学习）类型。 ”
但不确定性是阻碍自主学习成功的主要障碍。
深度学习里的“特征分布”至关重要，它们能将变量的每个可能值与该值出现的概率联系起来，也能很好地表示变量离散的不确定性，这就是为什么像Google的BERT模型这样的架构会比较成功的原因。不幸的是，研究人员还没有找到一种有效的方法来表示变量是连续的分布，也就是说，它们只能通过测量获得。
【#DeepTech深科技#深度学习两巨头预言：自我监督学习是让AI接近人类智能的关键】LeCun指出，解决连续分布问题的一种方法是基于能量的模型，它学习数据集的数学元素，并尝试生成类似的数据集。从历史上看，这种形式的生成性建模很难实际应用，但最近的研究表明，它可以适应复杂拓扑的缩放。
Bengio认为，人工智能在神经科学领域将大有裨益，尤其是对意识和意识加工的探索。这是双向的，一些神经科学家正在使用卷积神经网络（一种非常适合图像分类的AI算法）作为视觉系统腹侧流的模型。他预测，新的研究将阐明高级语义的方式变量与大脑如何处理信息（包括视觉信息）有关。这些变量是人类使用语言交流的事物，它们可能会促进新一代深度学习模型的演变。
“通过把扎根式语言学习之类的方法结合在一起，我们可以取得很多进步，努力理解一个世界的模式以及高水平的概念是如何相互关联的。我相信，人类意识的处理是利用关于世界可能如何变化的假设，这种假设可以方便地作为高级表示来实现。这些变化可以通过干预来解释，或者对正在发生变化的事物进行解释。 ”Bengio说。

文章图片
图｜自我监督学习识别环境中的实物（来源：FacebookAI）
此外，人类智力拼图中另一个缺失的部分是背景知识。 LeCun解释说，大多数人可以在30小时内学会驾驶汽车，因为他们已经用直觉建立了对汽车行为的物理模型。相比之下，如今的自动驾驶汽车上采用的强化学习模式从零开始——在找出哪些决策无害之前，机器必须犯下数千个错误。
显然，我们需要一个能够快速学习真实世界的模型，而这正是自我监督学习运行预测模型的存在原因，该模型将使系统能够通过使用该模型快速学习，从概念上讲，它似乎很简单，除了在我们无法完全预测的不确定环境中。
LeCun认为，即使是有不断完善的自我监督学习和从神经生物学中学到的知识加持，目前也不足以实现通用人工智能（AGI），或者具有能够理解或学习任何任务能力的机器的假想智能。这是因为智力——尤其是人类的智力研究——是非常专业和深奥的。
“AGI并不存在，我们可以谈论老鼠级智能、猫级智能、狗级智能或接近人类的部分智能，但不能谈论通用人工智能。 ”LeCun说。