还在被人脸识别准确率指标欺骗吗?( 二 )

有时候还会看见类似于FNMR @ FMR = 0.000001 , 这种表达式所指示的是先在数据集上计算出FMR = 0.000001时的阈值 , 然后再根据这个阈值计算FNMR 。 类似于这种TAR=0.998@FAR=1e-6 , 表示的是当不是同一个人通过率为1e-6时 , 相同人的通过率为99.8% 。 对于1:1人脸验证来说当FAR越低的情况下 , TAR越高越好
人脸搜索
1:N人脸识别评估分为两种情况开集识别(open-set identification)和闭集识别(close-set identification) 。
在评估1:N的人脸识别时我们需要三组图像 , galleryG(底库 , 已注册的人脸库) , probe(探针 , 待识别的人脸图像) , probe分为Pn和Pg? , Pn?中的人脸照片不在gallery中 , 被称为imposter , Pg?中的人脸照片在gallery中 , 被称为genius 。
开集识别
开集识别(open-set identification):开集识别需要解决的问题是判断一个probePj?在不在gallery中 , 如果在这个人是谁 。 Pj?可以在gallery中 , 也可以不在 。
假设galleryG={g1?,g2?.....gn?} , gi?表示gallery中的一个人 , 待测人脸Pj?与每个gi?计算一个相似度 , 用Sji?表示 , Sji?表示两张人脸图片是同一个人的概率 。 我们将G中的每一个人与Pj?计算相似度 , 得到一个集合S{sj1?,sj2?.....sjn?} , 对集合S进行由大到小的排序(用的欧式距离就是从小到大排序) 。 假定与Pj?在gallery中对应人的是g? , 定义rank(Pj?)=n表示Pj?与g?的相似度排在第n位 , rank1也称为topmatch 。
对于刷脸支付就是一个top1的open-set identification , 人脸身份验证就是一个topk的open-set identification 。
闭集识别
闭集识别(close-set identification):闭集识别需要解决的问题是 , 在gallery中找到probePj? , Pj?属于gallery中 。 与开集识别一样 , 闭集识别关心的也是在topk中是否包含正确的识别结果 。
评估指标
下面的评估指标在开集识别和闭集识别中都适用

  • DIR
DIR(Detection and Identification Rate):指Pj?∈Pg?与G中的真实的结果s?之间的相似度大于τ且大于其他所有与Pj?不是同一个人的相似度在Pg?中所占的比例 , DIR衡量的是库内人员的通过性能 。 计算公式如下
还在被人脸识别准确率指标欺骗吗?
本文插图
下面我们来举例说明一下
假设G中有A、B、C三个人的人脸信息每个人有一张照片 , Pj是属于C的另一张人脸照片 , 如果Pj与A、B、C的相似度分别为0.5、0.6、0.9 , τ为0.7 , 那么此时才算是匹配正确 。 如果Pj与C的相似度为0.68<τ , 会被认为是库外人员从而导致漏匹配 。 如果Pj与A、B、C的相似度为0.6、0.8、0.78 , 那么此时Pj的top1匹配应该是B , 因为C与Pj的相似度排在第二位是rank(Pj)=2 , 此时Pj匹配上了错误的人 。
  • FAR
FAR(False Alarm Rate):指Pj?∈Pn?与G中最相似的人相似度大于τ在Pn?中所占的比例 , FAR衡量的是对库外人脸的拒绝性能也是人脸识别系统安全性的保证 。 计算公式如下
还在被人脸识别准确率指标欺骗吗?
本文插图
对于1:N的人脸搜索来说 , 当FAR越低的情况下 , DIR越高时 , 表示模型的性能越好 , 下面我们通过一个例子来说明一下 , 这两个评估指标是如何计算的
还在被人脸识别准确率指标欺骗吗?
本文插图
上表展示了Pg?(照片在G中)和Pn?(照片不在G中)在gallery(G)中的测试结果 , a、b、c在G中分别对应A、B、C , d、e、f均不在G中 。 阈值τ取0.7时 , 我们来计算一下DIR和FIR
  1. a与A的相似度最高 , 且SaA?>τ , 所以匹配成功