换天造物，秒变科幻大片！华人学者推出视频修复AI新玩法( 三 )

本文插图
第一行为两个原始的输入帧；第三行为CycleGAN结果
在定性比较上， PI和NIQE的得分值越低越好。

本文插图
可以看出，该方法在定量指标和视觉质量方面都优于CycleGAN 。
更多论文详细内容，可参见：
https://arxiv.org/abs/2010.11800
4 相关作者
Zhengxia Zou ，是该项研究的第一作者，目前是密歇根大学安娜堡分校的博士后研究员。
他于2013年和2018年获得北京航空航天大学的学士学位和博士学位，后加入密歇根大学，其研究兴趣包括计算机视觉在遥感、自动驾驶以及视频游戏中的相关应用。
近几年，其发表的多篇相关论文被ACM、CVPR以及AAAI顶会收录。
对于该项研究， Zhengxia Zou认为，除了视频领域的应用外，还有一个潜在应用空间—数据扩充。他说，
数据集的规模和质量是计算机视觉技术的基础，在现实场景中，即使ImageNet、MS-COCO等大规模数据集，在应用中也存在采样偏差带来的局限，而该方法对于提高深度学习模型在检测、分割、跟踪等各种视觉任务中的泛化能力具有很大的潜力。
不过，目前研究也存在一定的局限性，主要体现在两个方面，

一是天空遮罩网络无法检测到夜间视频中的天空区域。
【换天造物，秒变科幻大片！华人学者推出视频修复AI新玩法】二是当视频中某段时间内没有天空像素，或者没有纹理时，天空背景的运动就无法精确建模。

其原因是用于运动估计的特征点被假定为位于同一位置，并且使用距离第二远的特征点来估计运动会不可避免地引入误差。
因此，在未来的工作中，研究会着重于三个方向进行优化：第一是自适应天空光照；第二是鲁棒背景运动估计；第三是探索基于天空渲染的数据增强对目标检测和分割的有效性。
引用链接：

https://jiupinjia.github.io/skyar/
https://www.reddit.com/r/MachineLearning/comments/jh9wej/r_this_ai_finally_lets_you_fake_dramatic_sky/

[赠书福利]
AI科技评论联合【机械工业出版社华章公司】为大家带来15本“新版蜥蜴书”正版新书。
在10月24号头条文章《1024快乐！最受欢迎的AI好书《蜥蜴书第2版》送给大家！》留言区留言，谈一谈你对本书内容相关的看法和期待，或你对机器学习/深度学习的理解。
AI 科技评论将会在留言区选出 15名读者，每人送出《机器学习实战：基于Scikit-Learn、Keras和TensorFlow（原书第2版）》一本（在其他公号已获赠本书者重复参加无效）。
活动规则：
1. 在留言区留言，留言点赞最高的前 15 位读者将获得赠书。获得赠书的读者请联系 AI 科技评论客服（aitechreview）。
2. 留言内容会有筛选，例如“选我上去”等内容将不会被筛选，亦不会中奖。
3. 本活动时间为2020年10月24日 - 2020年10月31日（23:00），活动推送内仅允许中奖一次。

本文插图