Deepfake克星来了！用“心跳”做信号识别假脸视频，准确率高达97%( 二 ) Deepfake真是让人又爱又恨。众所

文章插图
其中， Frame和Face表示分段精度，可以看出FakeCatcher最高，达到了87.62%；Video表示视频精确度。 FakeCatcher比最好的架构还要高出8.85% 。
需要说明的是，表中所有实验都是在自建数据集DF（60%训练和40%的测试的分割）中进行的。
二是进行交叉数据集验证，分别包括DF、Celeb DF、FF、FF++和UADFV数据集。
文章插图
第一列为训练数据集，第二列为测试数据集
从第5行和第6行来看， FakeCatcher在小而多样的数据集中的学习效果要比在大型且单一的数据集上更好。一方面是， DF训练和FF测试比反过来的测试精度高出了18.73% 。另一方面是， DF数据集大约只有FF数据集的5% 。从第3行和第6行来看，可以发现从FF到FF++增加分集， DF的准确率提高了16.9% 。
在交叉数据集FF++中，每个原始视频包含四个合成视频，其中每个视频都使用不同的生成模型生成。研究人员将FF++的原始视频分割为60%训练， 40%测试。然后创建这些集合的四个副本，并从每个集合中删除特定模型生成的所有样本。
表中第1列，每个集合包含三个模型的600个真实视频和1800个假视频，以及一个模型的400个真实视频和400个假视频进行测试。
文章插图
从跨模型评估结果来看，除了NeuralTextures ，其他均得到了非常精确的预测。而NeuralTextures本质上就是不同的生成模型。
由此，论文最后得出结论称，基于生物信号的Deepfake视频检测器FakeCatcher ，证明了生物信号的空间维度和时间维度的一致性在GAN-Rated内容中并没有得到很好的保持。
此外，通过人脸取证实验并引入自建DF数据集中，对视频片段、视频的成对分离以及真实性分类方法进行评估，分别得到了99.39% ， 96%以及91.07%准确率。这些结果再次验证了FakeCatcher可以高精度地检测假内容，而不依赖视频的生成器、内容、分辨率以及质量等指标。
更多论文内容，请参见：
引用链接：
【Deepfake克星来了！用“心跳”做信号识别假脸视频，准确率高达97%】雷锋网雷锋网雷锋网