「埃尔法哥哥」自我监督学习是AI的未来( 三 )

自我监督学习

本文插图
自我监督学习背后的想法是开发一种可以学习填补空白的深度学习系统。
“您向系统显示输入，文本，视频甚至图像，然后压制其中的一部分，将其掩盖，然后训练神经网络或您喜欢的类或模型来预测缺失的部分。 LeCun说：“这可能是视频的未来，也可能是文本中缺少的单词。
我们最接近自我监督学习系统的是Transformers ，该体系结构已在自然语言处理中被证明非常成功。变压器不需要标记的数据。他们接受过大量非结构化文本的培训，例如Wikipedia文章。在生成文本，进行对话和回答问题方面，他们已被证明比其前任要好得多。（但是他们距离真正理解人类语言还有很远的距离。）
变形金刚已经变得非常流行，并且是几乎所有最新语言模型的基础技术，包括Google的BERT ， Facebook的RoBERTa ， OpenAI的GPT2和Google的Meena聊天机器人。
最近， AI研究人员证明了变压器可以执行积分并求解微分方程，这是需要符号操纵的问题。这可能暗示着变压器的发展可能使神经网络超越模式识别和统计近似任务。
到目前为止，变压器已经证明了在处理谨慎的数据（例如单词和数学符号）方面的价值。 LeCun说：“训练这样的系统很容易，因为可能遗漏哪个单词存在一些不确定性，但是我们可以用整个字典中的巨大概率矢量来表示这种不确定性，所以这不是问题。 ”
但是，《变形金刚》的成功尚未转移到视觉数据领域。 “事实证明，在图像和视频中表示不确定性和预测要比在文本中表示不确定性和预测要困难得多，因为它不是离散的。我们可以产生字典中所有单词的分布。我们不知道如何表示所有可能的视频帧的分布。 ” LeCun说。
对于每个视频片段，都有无数可能的未来。如视频中的接下来的几帧所示，这使得AI系统很难预测单个结果。神经网络最终计算出可能结果的平均值，从而导致输出模糊。
LeCun说：“如果要将自我监督的学习应用于视频等多种形式，这是我们必须解决的主要技术问题。 ”
LeCun最喜欢的用于监督学习的方法就是他所说的“基于能量的潜在变量模型” 。关键思想是引入一个潜在变量Z ，该变量计算变量X（视频中的当前帧）和预测Y（视频的未来）之间的兼容性，并选择具有最佳兼容性得分的结果。 LeCun在演讲中进一步阐述了基于能量的模型和其他自我监督学习方法。

本文插图
基于能量的模型使用潜在变量Z来计算变量X和预测Y之间的兼容性，并选择具有最佳兼容性得分的结果（图片来源：Yann LeCun）。
深度学习的未来不受监督
“我认为自我监督学习是未来。这将使我们的AI系统，深度学习系统更上一层楼，也许可以通过观察来了解有关世界的足够背景知识，从而可能出现某种常识。 ” AAAI会议。
自我监督学习的主要好处之一是AI输出的信息量巨大。在强化学习中，训练AI系统是在标量级别执行的；该模型会收到一个数值作为对其行为的奖励或惩罚。在监督学习中， AI系统为每个输入预测类别或数值。
在自我监督学习中，输出将改善为整个图像或一组图像。 “这是更多信息。要了解有关世界的相同知识，您需要的样本更少。 ” LeCun说。
我们仍然必须弄清楚不确定性问题是如何工作的，但是当解决方案出现时，我们将解锁AI未来的关键组成部分。
LeCun说：“如果说人工智能是一块蛋糕，那么自我监督学习就是其中的主要内容。 ” “人工智能的下一轮革命将不会受到监督，也不会得到纯粹的加强。 ”