算法|7种不同的数据标准化(归一化)方法总结( 二 ) excel

2、梯度下降算法，梯度下降的收敛速度取决于：参数的初始位置到local minima的距离，以及学习率η的大小
3、采用sigmoid等有饱和区的激活函数，如果输入分布范围很广，参数初始化时没有适配好，很容易直接陷入饱和区，导致梯度消失，所以才会出现各种BN ， LN等算法
那些算法不需要归一化与距离计算无关的概率模型，比如Naive Bayes ，不需要；
与距离计算无关的基于树的模型，比如决策树、随机森林等，树中节点的选择只关注当前特征在哪里切分对分类更好，即只在意特征内部的相对大小，而与特征间的相对大小无关。但是我们前几篇文章中说到了，使用Z-Score归一化会提高模型的准确率。其实归一化的作用就是由绝对变为了相对，所以可以说归一化对于树型模型不那么重要，是一个可选项或者说可以作为一个超参数在训练时进行选择。
https://www.overfit.cn/post/767ff89fdb544dc1a20aad896d80859f
【算法|7种不同的数据标准化(归一化)方法总结】作者：Manish