找到那张假照片，对抗Deepfake之路随着Deepfake等一键式换脸应用的流行

随着Deepfake等一键式换脸应用的流行，越来越多的普通人也能通过简单的操作对视频中人像、甚至声音进行修改，达到以假乱真的地步。但在有趣的背后，也有助长谣言、侵犯隐私的隐患。
2019年1月，宾厄姆顿大学曾与英特尔合作推出视频图片检测工具FakeCatcher 。而在今年八月份，研究人员又发表《基于生物信号残留物进行深层合成图片检测（How Do the Hearts of Deep Fakes Beat? Deep Fake Source Detection via Interpreting Residuals with Biological Signals）》，准确率可以达到97.29% 。 FakeCatcher是如何实现其“打假”功能，是否会导致Deepfake“反打假”以及两年后FakeCatcher又有什么新的突破和创新，今天智东西为你一一道来。
论文：
文章插图
01.Deepfake很全能？
心跳、脉搏来“打假”FakeCatcher基于的原理是人类心跳时产生的细微肤色差异，而具体到应用上，则是与指尖脉搏血氧仪以及Apple Watch用于测量运动心率相同的技术——光电容积描记法（简称PPG）。英特尔高级研究科学家Ilke Demir表示：“我们从面部不同部位提取了几种PPG信号，并检测了其时空一致性。
在通过深度学习合成的视频中，心跳信号既没有一致性，也与脉搏信号没有任何联系。而在真实拍摄的视频中，人面部的血液流动是会和脉搏，也就是心跳信号保持一致的。 ”
文章插图
人面部PPG及rPPG信号
与Demir合作的是宾厄姆顿大学计算机科学系的博士Umur A. Ciftci及其导师，图形和图像计算实验室的Lijun Yin教授。该实验室创建的多个3D人脸和表情数据库曾被多位好莱坞电影制片人、视频游戏创作者用于影视或游戏项目。
在实验室中， Ciftci借助18台摄像机以及红外摄像机，建立了全美最先进的生理信号采集设备。在实验过程中，受试者需要佩戴监测呼吸和心率的设备， 30分钟的数据需要12个小时的计算处理。
Yin说：“Umur做了很多生理数据分析，并用我们第一个多峰数据库进行了信号处理。我们不仅收集2D、3D可见图像的数据，也收集热像仪和生理传感器的数据。使用生理学特征去检测图像造假将会是以后的新的思路。 ”
02.要打“假” ，先造“假”
相比起实验中采集的图像， Deepfake处理过的“假照片”图像质量要低很多，这意味着合成的照片和视频可以更容易被发现。
Ciftci说：“我们会用采集到的生理信号对3D图像进行处理，合成了一些‘假’视频。和Deepfake不同的是，我们采用真实的受试者的数据并进行处理，而Deepfake则是用网络中的数据。但如果只是从‘假’的层面考虑，并没有什么不同。 ”“就像警察知道罪犯是怎么犯案的一样，如果我们要找到那些假照片，我们就得先知道它们是怎么制作出来的，甚至当我们自己创造数据库时，也使用了Deepfake的一些方法。 ”
文章插图
Lijun Yin（左）和Umur Ciftci（右）在3D扫描实验室，图源：Jonathan Cohen
自FakeCatcher发表以来，全球共有27位研究人员在自己的研究中使用了该算法和数据集。但很多人都担心，如果这些研究成果未来向大众公开， Deepfake制作者是否有可能通过学习验伪过程，修改算法以升级Deepfake使合成照片在未来更难被发现。
但Ciftci并不太担心这一点：“对于不懂生理信号处理的人来说，突破生理信号检测并非易事。如果没有重大软件更新， Deepfake制作者不可能仅仅利用现有技术来实现这一目标。 ”