对迁移学习中域适应的理解和3种技术的介绍( 二 ) 作者：HarshMaheshwari编译：rong

所有的分布通常是非参数而且是人工的数学公式，不是专门针对数据集或我们的问题的，如分类，目标检测，分割等。因此，这种基于分布的方法并不能很好地解决我们的问题。但是，如果分布可以通过数据集或问题来学习，那么它将比传统的预定义分布表现得更好。
基于对抗的域适应为了实现基于对抗性的域适应，我们使用GANs 。这里我们的生成器是简单的特征提取器，我们添加了新的判别器网络，学习区分源和目标域的特征。由于这是一个双人游戏，判别器帮助生成器产生的特征对于源和目标领域是不可区分的。由于我们有一个可学习的判别器网络，我们学习特定于我们的问题和数据集的特征提取，这可以帮助区分源和目标域，从而帮助生成器产生更鲁棒的特征，即，不能很容易区分的特征。
文章插图
训练时,在源域上
文章插图
训练时,在目标域上
假设是分类问题，我们使用两种损失，分类损失和判别器损失。分类损失的目的已在前面说明。判别器损失有助于判别器正确地区分源域和目标域的特征。这里我们使用梯度反向层(GRL)来实现对抗性训练。 GRL block是一个简单的block ，它在反向传播时将梯度乘以-1或一个负值。在训练过程中，为了更新生成器，我们有来自两个方向的梯度，首先来自分类器，其次来自判别器。由于GRL的存在，判别的梯度乘以一个负值，导致训练生成器的效果与判别器相反。例如，如果优化判别器损失函数的计算梯度为2 ，那么我们使用-2(假设负值为-1)来更新生成器。通过这种方式，我们试图训练生成器，使其生成即使是判别器也无法区分源域和目标域的特征。 GRL层在许多域适应的文献中都有广泛的应用。
基于重建的域适应这是基于图像到图像的转换。一个简单的方法是学习从目标域图像到源域图像的转换，然后在源域上训练一个分类器。我们可以用这个想法引入多种方法。图像到图像转换的最简单模型可以是基于编码器-解码器的网络，并使用判别器强制编码器 — 解码器网络生成与源域相似的图像。
文章插图
训练时
文章插图
测试时
另一种方法是使用CycleGANs 。在Cycle GAN中采用了基于两种编解码器的神经网络。一个用于将目标转换为源域，另一个用于将源转换为目标域。我们同时训练了生成两个域(源域和目标域)图像的GANs 。为了保证一致性，引入了循环一致性损失。这可以确保从一个域转换到另一个域，然后再转换回来，得到与输入大致相同的图像。因此，两个配对网络的总损失和是判别器损失与循环一致性损失的和。
总结我们已经看到了三种不同的技术，可以帮助我们实现或实施不同的域适应方法。它在图像分类、目标检测、分割等不同任务中都有很大的应用。在某些方面，我们可以说，这种方法类似于人类如何学习视觉识别不同的东西。我希望这个博客能让你了解我们是如何思考不同的域适应pipelines的。
英文原文：
更多内容，请关注微信公众号“AI公园” 。