beauty穿搭小课堂|美图妆容迁移算法开启个性化妆容时代，你也可以拥有「宋慧乔妆」( 三 ) 机器之心发布机器之心编辑部不仅完美地

由于论文中Cycleconsistencyloss和Perceptualloss里的input和target使用的是同一张图，这在一定程度上会削弱其它loss对于五官区域的监督，进而影响妆容的学习。 MTlab利用五官mask来调节这一问题。首先对五官mask取反并进行边缘模糊，然后再把模糊后的mask归一化到(a,1](a>0)之间得到mask’ 。利用mask’将loss调整如下：

文章图片
姿态矫正模块的详细流程绘制如下：

文章图片
该模块可以提升算法的鲁棒性，主要包含两个部分，一个是姿态适配，一个是求解变换矩阵。姿态适配是根据原图和目标图的人脸点来判断两张脸的朝向是否相同，若不同则将目标图和目标图的人脸点进行左右翻转，使目标图的朝向和原图一致；求解变换矩阵是利用目标图和原图的人脸点构建最小二乘模型Y=X*M ，通过最小二乘的矩阵求法可以求得一个3x3的M矩阵，这里的M矩阵本质就是一个变换矩阵，包含平移、旋转、缩放等原子变换信息。利用M矩阵可以将目标图的像素坐标（x ， y）变换到一个新的位置（x’ ， y’），再用重映射函数remap即可将目标图进行整体变换，变换后目标图的整体五官大小比例会尽可能的接近原图五官的大小比例。
MakeupGan模块
MakeupGan模块的详细流程绘制如下：

文章图片
该模块是本方案的核心创新模块，主要保证美瞳、卧蚕、亮片闪片等妆容细节的迁移。 MakeupGan模块设计了3个D网络，分别是眉毛判别网络D-Eyebrow、眼睛判别网络D-Eye和嘴唇判别网络D-Lip 。
D网络结构的设计主要参考了论文[2]采用SFT结构，并把G网络改成D网络来使用。具体所做的调整为：（1）把residualblocks的数量从16调整为8；（2）去掉Upsampling之后的层。此外， Condition网络部分使用4通道的局部五官mask作为输入， 4通道的mask包括：原mask、对原mask进行左右翻转后的mask、对原mask进行向左镜像后的mask、对原mask进行向右镜像后的mask ，而Condition网络的输出即为SFT的Conditionmaps部分。
眉毛和眼睛都有左右之分，训练时会将左右两部分concat起来，所以D-eyebrow和D-eye的D网络部分为6通道输入， Condition网络部分为8通道输入，而D-lip的D网络部分为3通道输入， Condition网络部分为4通道输入。
要训练D网络并获得Makeupganloss需要从结果图和目标图中获取各自的五官成分，借助人脸点即可crop出每个五官的矩形框，再用mask把非五官区域与掉就得到五官成分。每个D网络可以得到一个ganloss ，这样就可以得到3个ganloss ，即Eyebrowganloss、Eyeganloss和Lipganloss 。把3个loss加起来就是本方案的Makeupganloss 。
结语
MTlab自主研发的基于DL的MakeupGan网络架构，不仅可以将无妆容的人物图片迁移处理为有妆容的图片，还可以将有妆容的人物图片迁移为无妆容的图片，甚至还可以在不同妆容图片间相互迁移。当前该技术可以处理图像数据，帮助用户简单变美。
参考文献
[1]JiangW,LiuS,GaoC,etal.PSGAN:PoseandExpressionRobustSpatial-AwareGANforCustomizableMakeupTransfer[C]//2020IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2020.
[2]WangX,YuK,DongC,etal.RecoveringRealisticTextureinImageSuper-ResolutionbyDeepSpatialFeatureTransform[C]//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2018.
[3]LiT,QianR,DongC,etal.BeautyGAN:Instance-levelFacialMakeupTransferwithDeepGenerativeAdversarialNetwork[C]//Proceedingsofthe26thACMinternationalconferenceonMultimedia.2018.