万微科技2016 还能「揪出」造假模型，黑科技检测方法：利用心跳做信号伪造人像视频生成技术给社会带来了新的

伪造人像视频生成技术给社会带来了新的威胁，例如利用逼真的伪造图像和视频进行政治宣传、名人模仿、伪造证据以及其他与身份有关的操作。伴随着这些生成技术的发展，出现了一些被证实有效的deepfake检测方法，这些方法具备较高的分类准确率。然而，目前几乎没有任何工作关注deepfake视频的来源（即生成deepfake视频的模型）。
来自宾汉姆顿大学、英特尔公司的研究人员提出了一种方法，利用视频中的生物信号检测该视频是否伪造。该方法不仅可以区分真假视频，还能够发现deepfake视频背后的特定生成模型（其中，生成模型是在DeepFakes、Face2Face、FaceSwap、NeuralTex中进行选择）。
一些纯粹基于深度学习的方法尝试使用CNN来分类造假视频， CNN实际上学习的是生成器的残差。该研究认为这些残差包含了更多的信息，可以通过将它们与生物信号分离来揭示伪造细节。观察结果表明，生物信号中的时空模式可以看作是残差的代表性投影。为了证明这一观察结果的合理性，研究人员从真实和虚假视频中提取PPG单元，并将其输入到当前最优的分类网络中，以检测每个视频的生成模型。
实验结果表明，该方法对假视频的检测准确率为97.29% ，对假视频背后生成模型的识别准确率为93.39% 。

文章图片
论文地址：
https://arxiv.org/pdf/2008.11363.pdf
该论文的贡献如下：
提出一种新型deepfake视频源头检测方法，为deepfake检测研究开启了新的视角；提出一项新发现：将生成噪声投影到生物信号空间，可以为每个模型创建唯一标识；提出一种先进的通用deepfake检测器，在真假视频分类方面优于现有方法，同时还能预测假视频背后的生成模型，即源生成模型。利用生物信号检测假视频及其生成模型
生物信号已被证明可以作为真实视频的真实性标志，它也被用作deepfake检测的重要生物标志。正如我们所知，假视频中的合成人物无法具备与真视频中人物类似的心跳模式。该研究的关键发现基于这一事实：这些生物信号可以被解释为包含每个模型残差标识变换的假心跳。这催生了对生物信号的新探索，它们不仅可以用来确定视频的真实性，还可以对生成该视频的源模型进行分类。
于是，该研究提出了既能检测deepfake视频，又能识别源生成模型的系统，如图1所示：

文章图片
为了连续地捕捉生物信号的特征，研究人员定义了一种新的时空块——PPG单元。该时空块结合了多种原始的PPG信号及其功率谱，并从一个固定的窗口提取。 PPG单元的产生首先需要使用人脸检测器在每一帧中找到人脸。
第二步是从检测到的人脸中提取感兴趣区域（ROI）（图1d），该区域具有稳定的PPG信号。为了有效地提取，研究者使用眼睛和嘴之间的面部区域，以最大限度地增加皮肤暴露。
由于来自人脸不同区域的PPG信号之间存在相关性，因此定位ROI并测量其相关性成为检测的关键步骤。
第三步需要将非线性ROI与矩形图像对齐。该研究使用Delaunaytriangulation[26] ，随后对每个矩形使用非线性仿射变换，从而将每个矩形转换为校正图像（rectifiedimage）。
在第四步中，研究者将每个图像分成32个相等大小的正方形，并在ω帧大小的固定窗口中计算每个正方形的原始Chrom-PPG信号，并且这不会干扰人脸检测（图1e）。然后，计算校正图像中的Chrom-PPG ，因为它能产生更可靠的PPG信号。对于每个窗口，现在有ω×32个原始PPG值。
现在将它们重组成32行、ω列的矩阵，就形成了PPG单元的基础，如图1f和图2最下面一行的上半部分所示。