beauty穿搭小课堂|美图妆容迁移算法开启个性化妆容时代，你也可以拥有「宋慧乔妆」( 二 ) 机器之心发布机器之心编辑部不仅完美地

一是原图和目标图五官位置和姿态都不固定，如何让网络感知不同位置上的妆容信息？
二是该任务很难获取真实环境中的一对一数据，如何让网络正确监督学习？
对于这两个问题，近些年的一些研究者提出了一些解决方案，具体可以总结如下：
对于问题1 ，主要采用的解决办法是：设计一种映射和反映射机制（也可以设计网络结构来实现这样的映射），将原图像特征映射为identityfeature和makeupfeature ，这样原图的identityfeature可以和目标图的makeupfeature进行组合，将组合特征反映射为图像特征就可以显式地让网络更好地感知妆容信息；
对于问题2 ，主要采用的解决办法有两类：a ，用一种颜色迁移算法（比如直方图匹配）结合五官分割进行局部颜色迁移，把目标图各五官成分的颜色迁移到原图对应的五官成分上，这样网络输出的五官区域就可以和颜色迁移后的五官区域直接做loss进行学习；b ，结合人脸点用一种形变算法（比如三角网格形变）将目标图warp到原图上，这样原图和目标图的五官就基本对齐了，再设计loss进行监督训练。
研究者们的创新方案收获了很多成果。目前，对于原图和目标图姿态比较接近且肤色差异较小的情况下，很多研究方案都能比较好地迁移五官妆容的颜色信息。
然而，对于真实用户复杂多变的环境（复杂姿态、复杂光照、复杂妆容等）以及更多细腻细节的迁移需求（睫毛、眼瞳、亮片闪片等），妆容迁移技术依然面临着很大挑战。
针对妆容迁移技术的诸多挑战， MTlab的MakeupGan妆容迁移算法应运而生了。
美图MakeupGan妆容迁移方案技术详解
要将妆容迁移算法真正落地到产品层面，需要保证以下两个方面的效果：
鲁棒性：不仅在姿态和肤色差异不大的情况下有稳定效果，还要保证在复杂姿态、多变光照、特殊妆容的场景下依然能保持较好效果；
全面性：不仅能迁移眼影、眉毛、口红等颜色信息，还需要迁移睫毛、美瞳、卧蚕、亮片闪片等较为精确的细节信息。
MTlab突破技术瓶颈，提出了MakeupGan妆容迁移方案，较好地解决了上述两个问题，并率先将技术落地到实际产品中。核心流程如下图所示：

文章图片
MakeupGan妆容迁移方案流程图。
图中所展示的流程主要包括：姿态矫正模块、G网络模块和训练Loss模块，其中训练Loss模块里还包括了MakeupGan模块。在这几个模块中，姿态矫正和MakeupGan模块是本方案的核心创新模块。
该方案的完整工作流程如下：
通过MTlab自主研发的人脸关键点检测算法检测出原始尺寸的原图和目标图的人脸点，并做摆正、裁脸等操作得到流程图中以及后续步骤提到的原图、目标图、原图人脸点和目标图人脸点；
通过MTlab自主研发的五官分割算法将原图和目标图的眉毛、眼睛、嘴唇和皮肤分割出来作为后续模块的输入；
将目标图、原图人脸点和目标图人脸点输入姿态矫正模块，并得到姿态矫正后的目标图，姿态矫正后的目标图整体上会和原图的姿态一致，并且整个脸的五官大小比例会更接近原图；
把矫正后的目标图和原图输入G网络得到结果图，根据结果图和目标图计算Cycleconsistencyloss、Perceptualloss和Makeuploss ，同时把结果图、原图人脸点、原图五官mask输入MakeupGan模块计算Makeupganloss ，这些loss控制整个网络的训练；
将实际裁好后的图输入训练好的G网络可以得到网络输出的结果图，结合MTlab自研的颜色迁移算法将原图的颜色和光照迁回一部分到结果图上确保结果更加自然，并将处理后的结果图逆回到原始尺寸原图中即完成算法过程。
姿态矫正模块
对于G网络结构、Makeuploss、Cycleconsistencyloss和Perceptualloss ，该方案参考了论文PSGan[1]并结合自有方案进行调整。由于MakeupGan方案设计了姿态矫正模块，已经可以较好地进行显式的姿态适配，因此在G网络中删除了论文里的AMM结构。 Makeuploss则沿用了PSGan的局部五官直方图匹配loss 。