机器学习|NLP的深度学习：ANN，RNN和LSTM详解！（附资源）( 二 ) 作者：JaimeZornoza

Andrew Ng是世界领先的深度学习专家之一，他在本视频中明确了这一点。在这个视频（;t=576s）中，他展示了与下面图像类似的一副图像，并用它解释了利用更多数据来训练模型的优势，以及大型神经网络与其他机器学习模型相比较的优势。
文章插图
图像显示了当训练数据集增大时，不同算法的性能演变
传统的机器学习算法（线性或逻辑回归， SMV ，随机森林等）的性能会随着训练数据集的增大而增加，但是当数据集增大到某一点之后，算法的性能会停止上升。数据集大小超过这一值之后，即便为模型提供了更多的数据，传统模型却不知道如何去处理这些附加的数据，从而性能得不到进一步的提高。
神经网络则不然，这种情况永远不会发生。神经网络的性能总是随着数据量的增加而增加（当然，前提是这些数据质量良好），随着网络大小的增加，训练的速度也会加快。因此，如果想要获得最佳性能，则需要在X轴右侧（高数据量）的绿线（大神经网络）的某个位置。
此外，虽然还需要有一些算法上的改进，但是深度学习和人工神经网络兴起的主要因素便是规模：计算规模和数据规模。
杰夫·迪恩（Jeff Dean）（谷歌深度学习的煽动者之一）是该领域的另一个重要人物，关于深度学习，杰夫如是说：
当听到深度学习这个词时，便会想到一个大的深度神经网络。深度通常指的是层数比较多，这是出版物中的一个流行术语，此刻，我便视它为深度神经网络。在谈论深度学习时，杰夫强调了神经网络的可扩展性，即随着数据量的增大，模型规模的增大，模型输出的结果会越来越好，同时，训练的计算量也随之增大，这和先前看到的结果一致。好了，理解了原理之后，那么神经网络如何进行深度学习的呢？
你可能已经猜到了：神经网络从数据中学习。
还记得将多个输入乘以权重之后输入到感知器中吗？连接两个不同神经元的“边”（连接）也需要赋权重。这意味着在较大的神经网络中，权重也存在于每个黑箱边之中，取一个神经元的输出，与其相乘，然后将其作为输入提供给这个边缘所连接的另一个神经元。
文章插图
具有两个隐藏层的神经网络以及每个层之间的权重
当训练神经网络（通过ML表达式来训练神经网络使其进行学习）时，首先为它提供一组已知数据（在ML中称为标记数据），让它预测这些数据的特征（比如图像标记“狗”或“猫”）然后将预测结果与实际结果进行比对。
当这个过程在进行中出现错误时，它会调整神经元之间连接的权重，以减少所犯错误的数量。正因如此，如前所示，在大多数情况下，如果我们为网络提供更多的数据，将会提高它的性能。
从序列数据中学习 –递归神经网络
了解了人工神经网络和深度学习之后，我们懂得了神经网络是如何进行学习的，现在可以开始研究用于构建聊天机器人的神经网络：递归神经网络或RNN。
递归神经网络是一种特殊的神经网络，旨在有效地处理序列数据，序列数据包括时间序列（在一定时间段内的参数值列表）、文本文档（可以视为单词序列）或音频（可视为声音频率序列）。
RNN获取每个神经元的输出，并将其作为输入反馈给它，它不仅在每个时间步长中接收新的信息，并且还向这些新信息中添加先前输出的加权值，从而，这些神经元具备了先前输入的一种“记忆” ，并以某种方式将量化输出反馈给神经元。
文章插图
递归神经元，输出数据乘以一个权重并反馈到输入中
来自先前时间步长的输入的函数单元称为记忆单元。
RNN存在的问题是：随着时间的流逝， RNN获得越来越多的新数据，他们开始“遗忘”有关数据，通过激活函数的转化及与权重相乘，稀释新的数据。这意味着RNN有一个很好的短期记忆，但在尝试记住前一段时间发生过的事情时，仍然会存在一些小问题（过去若干时间步长内的数据）。
为此，需要某种长期记忆， LSTM正是提供了长期记忆的能力。
增强记忆力 - 长期短期记忆网络
长短期记忆网络LSTM是RNN的一种变体，可解决前者的长期记忆问题。作为本文的结尾，简要解释它是如何工作的。