【明星自动大变脸】最新StarGAN对抗生成网络实现多领域图像变换
《【明星自动大变脸】最新StarGAN对抗生成网络实现多领域图像变换(附代码)》系傻大方资讯网小编转载,希望对您有所帮助。
新智元AI World 2017世界人工智能大会开场视频
中国人工智能资讯智库社交主平台新智元主办的 AI WORLD 2017 世界人工智能大会11月8日在北京国家会议中心举行,大会以“AI 新万象,中国智能+”为主题,上百位AI领袖作了覆盖技术、学术和产业最前沿的报告和讨论,2000多名业内人士参会。新智元创始人兼CEO杨静在会上发布全球首个AI专家互动资讯平台“新智元V享圈”。
全程回顾新智元AI World 2017世界人工智能大会盛况:
新华网图文回顾
http://www.xinhuanet.com/money/jrzb20171108/index.htm
爱奇艺
上午:http://www.iqiyi.com/v_19rrdp002w.html
下午:http://www.iqiyi.com/v_19rrdozo4c.html
阿里云云栖社区
http://yq.aliyun.com/webinar/play/316?spm=5176.8067841.wnnow.14.ZrBcrm
新智元推荐
来源:专知
【导读】图像之间的风格迁移和翻译是近年来最受关注的人工智能研究方向之一,这个任务在具有趣味性的同时也是很有挑战的。相关的研究成果也层出不穷,有的甚至引起了全世界的广泛讨论。近日,香港科技大学、新泽西大学和韩国大学等机构在 arXiv 上联合发表了一篇研究论文,提出了在同一个模型中进行多个图像领域之间的风格转换的对抗生成方法StarGan,突破了传统的只能在两个图像领域转换的局限性。
图1. 通过从RaFD数据集学习转移知识,从而应用到CelebA图像转化的多域的图像到图像转化结果。第一列和第六列显示输入图像,其余列是产生的StarGAN图像。注意,图像是由一个单一模型网络生成的,面部表情标签如生气、高兴、恐惧是从RaFD学习的,而不是来自CelebA。
给定来自两个不同域的训练数据,这些模型学习如何将图像从一个域转换到另一个域。文章中将术语表示为图像中固有的特征,如头发颜色、性别或年龄,属性值作为属性的特定值,例如黑色/金色/棕色的头发颜色,或性别的男性/女性等。我们进一步将具有一系列相同属性值的图像设为一个域。例如,女性形象代表一个域,而男性代表另一个域。
几个图像数据集带有许多标记属性。例如,在CelebA数据集包含40个标签的面部特征,如头发的颜色、性别、年龄;RaFD数据集有8个表示面部表情的标签,如“快乐”,“愤怒”和“悲伤”。我们可以根据这些属性设置执行更有趣的任务,即多域图像到图像的转换,我们根据多个域的属性来改变图像。图1中,前5列展示了一个CelebA图像可以根据任何四个域进行转化,“金发”、“性别”、“年龄”、“苍白的皮肤”。我们可以进一步延伸到从不同的数据集进行多个域的训练,如共同训练的CelebA和RaFD图像来改变CelebA图像的面部表情,通过训练RaFD数据提取特征来作用于CelebA图像,如在图1的最右边的列。
然而,现有的模型在多域图像转换任务中效率低下。这些模型的低效率是因为在学习K域的时候,需要训练K(K?1)个生成器。图2说明了如何在四个不同的域之间转换图像的时候,训练十二个不同的生成器的网络。即使它们可以从所有域图像学习全局特征,如形状特征学习,这种模型也是无效的,因为每个生成器不能充分利用整个训练数据,只能从K学习的两个领域。未能充分利用训练数据很可能会限制生成图像的质量。此外,它们不能联合训练来自不同域的数据集,因为每个数据集只有部分标记,本文在3.2章进一步讨论。
图2. 我们的StarGAN模型与其他跨域模型的比较。(a)为处理多个域,应该在每一对域都建立跨域模型。(b)StarGAN用单个发生器学习多域之间的映射。该图表示连接多个域的拓扑图。
为解决这些问题我们提出了StarGAN,它是生成对抗网络,能够学习多个域之间的映射。如图2(b)所示,文章中提出的模型接受多个域的训练数据,并且只使用一个生成器学习所有可用域之间的映射。这个想法是非常简单的。其模型不是学习固定的图像转化(例如,从黑发到金发),而是输入图像和域信息,学习如何灵活地将输入图像转换到相应的域中。文章中使用一个标签(二进制或one hot向量)代表域信息。在训练过程中,随机生成目标域标签并训练模型,以便灵活地将输入图像转换到目标域。通过这样做,可以控制域标签并在测试阶段将图像转换成任何所需的域。
本文还引入了一种简单而有效的方法,通过将掩码向量添加到域标签,使不同数据集的域之间进行联合训练。文章中所提出的方法使模型可以忽略未知的标签,并专注于有标签的特定数据集。在这种方式下,此模型对任务能获得良好的效果,如利用从RaFD数据集学到的特征来在CelebA图像中合成表情,如图1的最右边的列。据本文中提及,这篇工作是第一个成功地完成跨不同数据集的多域图像转化。
总的来说,本文的贡献如下:
提出了StarGAN,生成一个新的对抗网络,只使用一个单一的发生器和辨别器实现多个域之间的映射,有效地从所有域的图像进行训练;
展示了如何在多个数据集之间学习多域图像转化,并利用掩码向量的方法使StarGAN控制所有可用的域标签。
提供定性和定量的结果,对面部表情合成任务和面部属性传递任务使用StarGAN,相比baseline模型显示出它的优越性。
原则上,文中提出的模型可以应用于任何其他类型的域之间的转换问题,例如,风格转换(style transfer),这是未来的工作方向之一。
模型简介在单一数据集上的训练
总得来看,StarGAN包括两个模块,一个鉴别器D和一个生成器G.(a)D学习如何区分真实图像和伪造图像,并将真实图像分类到相应领域。 (b)G同时输入图像和目标域的标签并生成假图像,在输入时目标域标签被复制并与输入图像拼接在一块。 (c)G尝试从给定原始域标签的假图像重建原始图像。 (d)G试图生成与真实图像不可区分的图像同时又很容易被目标域D所区分出来。
在多数据集上的训练
StarGAN同时在CelebA和RaFD两个数据机上进行培训的概述。 (a)?(d)显示了使用CelebA的训练过程,(e)?(h)显示了使用RaFD的训练过程。 (a),(e)鉴别器D学习如何区分真实图像和伪造图像,并仅将已知标签的分类误差最小化。 (b),(c),(f),(g)当掩码向量(紫色)为[1,0]时,生成器G学习专注于CelebA标签(黄色),而忽略RaFD标签(绿色)来执行图像到图像的转换,反之亦然,当掩码矢量是[0,1]时。 (d),(h)G尝试生成与真实图像无法区分的图像,同时图像可以被D分类可为目标域。
实验结果
在明星脸上的面部属性迁移
这些图片是由StarGAN在CelebA 数据集上训练后生成的。
在RaFD人脸数据集上的表情合成
这些图片是由StarGAN在RaFD人脸数据集上训练后生成的。
在明星脸上的表情合成
这些图片是由StarGAN同时在RaFD和CelebA数据集上训练后生成的。
论文:StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
摘要
最近的研究表明,在两个领域之间图像到图像转化的研究领域取得了显著的成功。然而,现有的方法在处理两个以上图像域时,可伸缩性和鲁棒性有限,因此,要为每一对映像域都需要独立构建不同的模型。
为了解决这个问题,我们提出了一个新的可扩展的StarGAN,可以利用同一个模型实现多个域图像到图像转化。这样一个统一的StarGAN模型体系允许在一个单一的网络内同时训练不同域的多个数据集。这使得StarGAN与现有的图像转化模型相比,StarGAN更加灵活,能将输入图像转化到任意所需要的目标域图像。实验证明,我们的方法在面部属性转移和面部表情合成任务上的有效性。
Github 代码PyTorch代码实现的《StarGAN: UnifiedGenerative Adversarial Networks for Multi-Domain Image-to-Image Translation》,StarGAN可以很灵活的将一副图片转换成任何你想要的目标风格,这一切只需要一个简单的生成器和一个判别器。
Yunjey Choi http://github.com/yunjey,
Minje Choi http://github.com/mjc92,
Munyoung Kim http://www.facebook.com/munyoung.kim.1291,
Jung-Woo Ha http://www.facebook.com/jungwoo.ha.921,
Sung Kim http://www.cse.ust.hk/~hunkim/,
Jaegul Choo http://sites.google.com/site/jaegulchoo/
Python 2.7 or 3.5+ http://www.continuum.io/downloads
PyTorch 0.2.0 http://pytorch.org/
TensorFlow 1.3+ http://www.tensorflow.org/
1. 克隆代码仓库
bash
$ git clonehttp://github.com/yunjey/StarGAN.git
$ cd StarGAN/
2. 下载数据集
(i) CelebA数据集
bash
$ bashdownload.sh
(ii) RaFD数据集
由于RaFD并不是一个公开的数据集,所以你必须先在Radboud Faces Database website (http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main)这个网站上申请使用权限。然后你需要想这里描述http://github.com/yunjey/StarGAN/blob/master/png/RaFD.md的那样,来创建相应的目录结构。
3. 训练 StarGAN
(i) 使用CelebA训练
bash
$ python main.py--mode="train" --dataset="CelebA" --cdim=5 --imagesize=128 --numepochs=20--numepochsdecay=10
(ii) 使用RaFD训练
bash
$ python main.py--mode="train" --dataset="RaFD" --cdim=8 --imagesize=128 --numepochs=200--numepochsdecay=100
(iii) 同时使用CelebA和RaFD训练
bash
$ python main.py--mode="train" --dataset="Both" --cdim=5 --c2dim=8 --imagesize=256--numiters=200000 --numitersdecay=100000
4. StarGAN测试
(i) 在明星脸上的面部属性迁移
bash
$ python main.py--mode="test" --dataset="CelebA" --cdim=5 --imagesize=256 --testmodel=201000
(ii) 在RaFD人脸数据集上的表情合成
bash
$ python main.py--mode="test" --dataset="RaFD" --cdim=8 --imagesize=256 --testmodel=200200
(iii) 在明星脸上的表情合成
bash
$ python main.py--mode="test" --dataset="Both" --cdim=5 --c2dim=8 --imagesize=256--testmodel=200000
参考文献
论文:
StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
arXiv: http://arxiv.org/abs/1711.09020
github: http://github.com/yunjey/StarGAN
video: http://v.qq.com/x/page/t0510kq8mya.html
本文经授权转载自专知:Quan_Zhuanzhi,点击“阅读原文”可查阅原文。
- 数百家店关闭,高管纷纷离职,这家国产明星手机出了什么事?
- 定了!又有大明星来汕头开演唱会!门票还免费送!快抢!
- 【红刊财经】可转债市场“变脸”何其快
- 张智霖儿子竟不知爸爸是明星,以为他是卖寿司的…
- 央行发布自动质押融资业务管理办法:统一自动质押融资利率
- 江苏规定:手机套餐到期不续约不得自动扣费
- 北京首条全自动线路实现"无人驾驶" 单程25分钟
- 北京市首条全自动线路可实现“无人驾驶” 单程25分钟
- 【围观】五大卫视2018跨年晚会,目前确定的明星阵容,你想看哪个
- 是谁?黄山有家店开业,好多明星都来道贺!