一文了解人脸识别技术的原理人脸识别技术是什么( 六 ) _知识分享

文章插图

对loss function的修改

作者在观察constractive loss和triplet loss的时候发现一个问题，就是负样本在非常hard的时候loss函数非常的平滑，那么也就意味着梯度会很小，梯度小对于训练来说就意味着非常hard的样本不能充分训练，网络得不到hard样本的有效信息，因此hard样本的效果就会变差。所以如果在hard样本周围loss不是那么平滑，也就是深度学习中经常用的导数为1(像relu一样)，那么hard模式会不会就解决了梯度消失的问题。另外loss function还要实现triplet loss对正负样本的兼顾，以及具备margin设计的功能，也就是自适应不同的数据分布。损失函数如下：

文章插图
我们称anchor样本与正例样本之间的距离为正例对距离；称anchor样本与负例样本之间的距离为负例对距离。公式中的参数beta定义了正例对距离与负例对距离之间的界限，如果正例对距离Dij大于beta，则损失加大；或者负例对距离Dij小于beta，损失加大。A控制样本的分离间隔；当样本为正例对时，yij为1，样本为负例对时，yij为-1 。下图为损失函数曲线。

文章插图
从上图可以看出为什么在非常hard的时候会出现梯度消失的情况，因为离0点近的时候蓝色的线越来越平滑，梯度也就越来越小了。另外作者对的设置也进行了调优，加入了样本偏置、类别偏置以及超参，对损失函数进一步优化，能够根据训练过程自动修改的值。
3. Margin Based Classification
Margin based classification不像在feature层直接计算损失的metric learning那样对feature加直观的强限制，是依然把人脸识别当 classification 任务进行训练，通过对 softmax 公式的改造，间接实现了对 feature 层施加 margin 的限制，使网络最后得到的 feature 更 discriminative 。
（1）Center loss
参考论文：A Discriminative Feature Learning Approach for Deep Face Recognition
ECCV 2016的这篇文章主要是提出了一个新的Loss：Center Loss，用以辅助Softmax Loss进行人脸的训练，为了让同一个类别压缩在一起，最终获取更加discriminative的features 。center loss意思即为：为每一个类别提供一个类别中心，最小化min-batch中每个样本与对应类别中心的距离，这样就可以达到缩小类内距离的目的。下图为最小化样本和类别中心距离的损失函数。
为每个batch中每个样本对应的类别中心，和特征的维度一样，用欧式距离作为高维流形体距离表达。因此，在softmax的基础上，center loss的损失函数为：

文章插图
个人理解Center loss就如同在损失函数中加入了聚类的功能，随着训练的进行，样本自觉地聚类在每一个batch的中心，进一步实现类间差异最大化。但是我觉得，对于高维特征，欧氏距离并不能反映聚类的距离，因此这样简单的聚类并不能在高维上取得更好的效果。
（2）L-Softmax
原始的Softmax的目的是使得，将向量相乘的方式变换为向量的模与角度的关系，即，在这个基础上，L-Softmax希望可以通过增加一个正整数变量m，可以看到：

文章插图
使得产生的决策边界可以更加严格地约束上述不等式，让类内的间距更加的紧凑，让类间的间距更加有区分性。所以基于上式和softmax的公式，可以得到L-softmax的公式为：

文章插图

文章插图
由于cos是减函数，所以乘以m会使得内积变小，最终随着训练，类本身之间的距离会增大。通过控制m的大小，可以看到类内和类间距离的变化，二维图显示如下：

文章插图
作者为了保障在反向传播和推理过程中能够满足类别向量之间的角度都能够满足margin的过程，并保证单调递减，因此构建了一种新的函数形式：

文章插图
有人反馈L-Softmax调参难度较大，对m的调参需要反复进行，才能达到更好的效果。
（3）Normface
参考论文：NormFace: L2 Hypersphere Embedding for Face Verification

一文了解人脸识别技术的原理 人脸识别技术是什么( 六 )

一文了解人脸识别技术的原理人脸识别技术是什么( 六 )