文章图片
最后一步将频域信息添加到PPG单元 。 计算窗口中每个原始PPG值的功率谱密度 ， 并将其缩放到ω大小 。
图2的最下面一行显示了从同一个窗口生成的deepfakePPG单元示例 ， 第一行是每个窗口的示例帧 。
定义完PPG单元后 ， 研究者展示了其主要假设：将deepfake生成器的残差投影到生物信号空间 ， 可以创造一个独特的模式 ， 并用于检测deepfake背后的源生成模型 。
实验
该研究提出的系统采用Python语言实现 ， 使用OpenFace库进行人脸检测 ， OpenCV进行图像处理 ， 使用Keras实现神经网络 。
表1列出了在测试集上的PPG单元分类结果 ， 其中VGG19在区分4种不同生成模型和检测FaceForensics++（FF）真实视频方面达到了最高准确率（图1f） 。 像DenseNet和MobileNet这样的复杂网络由于过拟合 ， 虽然达到了非常高的训练准确率 ， 但在测试集上的效果不如人意 。

文章图片
在视频分类方面 ， 表2记录了过程中的不同投票方案 。 研究者设置ω=128 ， 比较了使用大多数投票、最高平均概率、两个最高平均概率以及对数几率平均后VGG19的单元预测结果 。

文章图片
如图3所示 ， 该方法对五类FF（1个真视频和4个假视频）的真实视频检测率为97.3% ， 对生成模型的检测准确率至少为81.9% 。

文章图片
研究人员在不同的设置上进行训练和测试：1）训练集中没有真实的视频；2）PPG单元中没有功率谱；3）没有生物信号；4）使用全帧而不是面部ROI ， 其中ω=64 ， FF数据集分割设为常数 。 结果见表3：

文章图片
【万微科技2016 还能「揪出」造假模型，黑科技检测方法：利用心跳做信号】使用前述设置 ， 用不同的窗口大小ω={64,128,256,512}帧来测试该论文提出的方法 。 结果参见下表4：

文章图片
为了证明该论文提出的方法可以扩展到新模型 ， 研究人员将FF设置与单个生成器数据集CelebDF相结合并重复分析过程 。 该研究提出的方法在整个数据集上达到了93.69%的检测准确率 ， 在CelebDF数据集上达到了92.17%的检测准确率 ， 这表明该方法可以泛化到新模型（参见表5） 。

文章图片
表6列出了测试集上不同模型的准确率 。 由结果可知 ， 该论文提出的方法甚至超过了最复杂的网络Xception ， 准确率高出10% 。

文章图片

• 科技日报|塑料微粒影响几何？人类认知仍不足
• 量子科技，爆发！有项关键技术中国已领先世界
• 暖日科技盈如|这到底是为什么？，俄罗斯华人给出劝告：最好别跟俄罗斯女孩结婚
• 周到|民警利用无人机指挥事故车辆立即撤离 “科技赋能”破解交通管理难题
• 概念股|中国股市：量子科技概念股一览 （名单）
• 十倍股|A股最全大科技股名单，今年主线，稳赚不赔！
• 互联网全球最有价值100个科技品牌排行榜：华为、微信与QQ位列前十
• 新华网|南水北调：科技保驾“南水”安全北流
• 挖贝网|利息支出减少，长信科技2020年前三季度净利7.97亿增长11.89％
• 雷科技音画水准爆表！OPPO两大新品发布：加速布局智能IoT