【游戏迷】LSTM(长短期记忆网络)原理介绍( 二 )

输出门的计算：
思想：
三个门控制对前一段信息、输入信息以及输出信息的记忆状态，进而保证网络可以更好地学习到长距离依赖关系。
遗忘门（记忆门）：通过判断当前输入信息的重要程度决定对过去信息的保留度
输入门：通过判断当前输入信息的重要程度决定对输入信息的保留度
输出门：当前输出有多大程度取决于当前记忆单元
激活函数：
门：sigmoid ， 0-1分布概率，符合门控的定义。且当输入较大或者较小时，值会接近1或0 ，进而控制开关。
候选记忆：
分布在-1~1之间，与大多场景下0中心分布吻合
在输入为0有较大的梯度，使模型更快收敛
存在问题：
不可并行，只能从前到后-->attention
5.LSTM其他解释
LSTM隐层神经元结构：
LSTM隐层神经元详细结构：
一般由以下部分组成：
输入门：it=sigmoid（权重乘以当前的输入特征和上个时间步的短期记忆ht-1 ，再加上偏置）
遗忘门：ft=sigmoid（权重乘以当前的输入特征和上个时间步的短期记忆ht-1 ，再加上偏置）
输出门：ot=sigmoid（权重乘以当前的输入特征和上个时间步的短期记忆ht-1 ，再加上偏置）
候选态：候选态即被输入门限制是否可以进入长期记忆的内容。
记忆体：就是筛选长期记忆的过程，通过tanh函数转化为输出。
细胞态就是过去所有知识的累计，它由两部分组成：当前时间步之前的长期记忆乘以遗忘门，以及输入门乘以候选态。
这不难理解，遗忘门判断过去累积的知识哪些可以被遗忘，输入门判断哪些知识可以被存起来，输出门则筛选知识进行输出。
当有多层网络是时，前一层的输出ht就是下一层的输入。
6.LSTM的代码实现
keras.layers.LSTM(units,activation='tanh',recurrent_activation='hard_sigmoid',use_bias=True,kernel_initializer='glorot_uniform',recurrent_initializer='orthogonal',bias_initializer='zeros',unit_forget_bias=True,kernel_regularizer=None,recurrent_regularizer=None,bias_regularizer=None,activity_regularizer=None,kernel_constraint=None,recurrent_constraint=None,bias_constraint=None,dropout=0.0,recurrent_dropout=0.0,implementation=1,return_sequences=False,return_state=False,go_backwards=False,stateful=False,unroll=False)
长短期记忆网络层（LongShort-TermMemory）
参数
units:正整数，输出空间的维度。
activation:要使用的激活函数(详见activations) 。如果传入None ，则不使用激活函数(即线性激活：a(x)=x) 。
recurrent_activation:用于循环时间步的激活函数(详见activations) 。默认：分段线性近似sigmoid(hard_sigmoid) 。如果传入None ，则不使用激活函数(即线性激活：a(x)=x) 。
use_bias:布尔值，该层是否使用偏置向量。
kernel_initializer:kernel权值矩阵的初始化器，用于输入的线性转换(详见initializers) 。
recurrent_initializer:recurrent_kernel权值矩阵的初始化器，用于循环层状态的线性转换(详见initializers) 。
bias_initializer:偏置向量的初始化器(详见initializers).