AI修复100年前的京城老视频爆火网络

来源：果壳

大数据文摘出品作者：刘俊寰、牛婉杨昨天（编者注：5月9日），一个“修复老北京街道”的视频刷屏全网。一段由加拿大摄影师在100年前的北京被AI修复后，活灵活现地展现在人们面前，一百年前人们打招呼的方式、使用的乐器、交通工具，在这段视频中，都清晰可见。配上颇合时宜的音乐， 24小时内，已经有了将近50万的点赞量， 10万多次的转发，接近3万的留言，看来周六大家也有在好好工作啊。

这个视频来自一位名叫“大谷Spitzer”的博主，据他所说，接触老片修复是一个偶然，整个项目也只花了7天时间就顺利完成了。先来一起看看这惊人的修复效果。老视频

修复后效果

修复后的视频把当时的北京城演绎的活灵活现，下边的片段中，左下角小哥呆呆的看着镜头，连细微的表情都清晰可见，青涩中带有一点可爱，想象一下这位憨厚的小哥来自一百年前，还是让文摘菌感慨万千。

怪不得网友们纷纷赞叹。有网友表示，不仅整体氛围没话说，连细节部分也分毫毕显， “每个人脸上都是新奇又不敢接近的表情” 。甚至有网友留言表示， “博物馆应该收藏你的作品”！链接指路：https://weibo.com/tv/v/J0ZsQnP6a?fid=1034:4502352820895785博主在视频最开始就说道，想用技术为社会做一些有意义的事情，怀着仰慕的心情，文摘菌联系到了这位“大谷Spizer” ，来看看他是怎么说的吧~7天完工，难在显卡！整体满意，颜色上还有不足自称将AI视为业余爱好的大谷如今身在纽约，接受文摘菌采访的时候，他感叹道，自己做AI科普视频做了七年，没想到一下子火了，现在完全处于“被信息淹没”的状态。大谷透露道，其实这次接触老片修复纯属偶然，在搜索其他资料时候，偶然间在YouTube看到了人民日报上传的一段老北京视频，对其中对视镜头的部分十分有感触， “有一种穿越时空的感觉” 。同时，一想到一百年前的人们有那个年代的思想，看问题的角度和现代有所差别，是很有趣的体验，自己恰好了解相关技术，为何不将老片上色补帧，做成活灵活现的60帧，和大家分享呢？

具体到操作上，根据大谷介绍，可以大致分为补帧、扩分辨率、上色三个环节，每个环节也都用了不同的工具，整体框架的流程则主要参考了Denis Shiryaev在社交媒体上分享的经验贴。大谷说道，整个项目只用了7天时间，大部分都是硬性的时间消耗，比如补帧需要一到两天，扩分辨率至少一天，上色也需要花费一天时间，再加上要做到4K60fps ，渲染速度很慢。多方考量之下，他把人民日报14分钟的原片剪到了10分钟。相比而言，去年国庆164分钟修复版《开国大典》让人们亲眼目睹三次战役胜利到开国大典的历史过程。除了借助AI ，胶片的撕裂、划痕等都是专业的修复师一帧一帧地修补。 “修复过程中，我们70%的时间都在完成资料片镜头的修复工作。 ”负责本片修复工作的三维六度公司的首席技术官周苏岳说道，虽然修复时间只用了40天，但这却是600人每天工作20小时的奋战结果！除了硬性的时间消耗，大谷还笑称，最大的问题就是自己笔记本电脑的显卡不够好， “要1070的显卡才带得动，否则会out of memory” ，迫不得已之下向女朋友求了助。

再困难的部分，大谷选择了谷歌的Colab Notebook在线系统，通过远端分配一台带显卡的电脑，就无需在本地操作了， “这也是选择开源AI的原因” ， “很多开源的AI都会把代码上传上去” 。对于最后的结果，大谷表示， “还是比较满意的” ，不过在颜色上还存在可以改进的地方。在视频中，相信大家也会看到时不时会出现颜色跳来跳去的情况，大谷表示，在补帧之前用工具把老电影中经常出现的画面闪烁去掉了，否则会更严重，整体的色彩上， AI的渲染效果也明显偏淡。除此之外，大谷这次利用的是国外的一套模型，显然无法直接将其套用到100年前的中国影片修复上，在颜色上就无法做到历史性的准确，视频中的上色都是AI学习的成果，虽然肤色大致还原了，但是在红绿服装等方面的真实性还有待商榷。也正是考虑到这些不足，大谷对去年参与《开国大典》修复的工作人员表达了敬意， “AI没办法做到艺术家那么准确，尤其是在历史方面，而《开国大典》对历史准确性的要求更高” ，随后他也打趣地说道，或许可以“让AI看看清宫剧，提升一下准确率” 。分页标题

就像大谷在视频开头所说，他想用技术做一些对社会有意义的事，在这次视频爆红之后，他表现得相当豁达， “太深刻的大意义倒也说不上” ，主要是想借此让人们对历史有所反思。不少网友指出，视频中几乎看不到女性，这正是历史生动性的体现，既有光鲜也有不足，让大家意识到现在的生活是多么来之不易。同时，作为老北京人，大谷也想通过视频分享他的切身感受，让更多人看到一百年前的民俗，尤其是上了色帧数提高之后， “感觉确实不一样，也感慨这一百年的变化” 。对于目前收到得反馈，大谷表示“完全没想到” ，他看了很多评论，也受感触于一些留言，还有人私信向他表示，给太姥姥看后，也很怀念那个年代。大谷透露道，这其实是他第一次尝试做视频修复，后续或许会出一期视频介绍一下具体的操作。对于后续的视频更新计划，他想要介绍一下国内已经成熟的语音修复技术。目前，大谷在研究一款换衣AI ，通过把模特导入系统，在Photoshop里换好衣服，就能生成模特穿上衣服的各种姿势，听上去是淘宝卖家会喜欢的AI 。不过，大谷介绍道，这个AI目前还处于“婴儿状态” ，精度上不是很乐观，未来需要大量的训练，以后或许也会做个视频介绍一下。AI助力，老片修复一直在路上对于这次用到的技术，大谷表示，上色主要还是应用在黑白照片和电影上，补帧技术就可以遍地开花了，比如修复像素动画的跳帧问题，或者在动画领域加以应用，因为动画很多是12帧/秒，甚至6帧/秒，补帧之后效果很好，也终于可以看更流畅的EVA了。

作为一名独立游戏开发者，大谷透露道，因为一个人做游戏开发，接触到AI是想要了解AI能否为他节省时间，后来发现AI能做的不止这些，在社会公益上也有不少应用，比如老片修复。正如大谷所说，这次的视频修复“技术管线参考自Denis Shiryae的影像修复教程” ，针对Denis的欧美老片修复，大谷也做过汉化视频进行了专门的介绍。视频链接：https://www.bilibili.com/video/BV1Uf4y1m72nDenis Shiryaev通过神经网络修复老视频的内容今年在油管爆红了一阵子，他使用Topaz Labs的Gigapixel AI和DAIN图像编辑应用程序将1896胶片缩放到4K分辨率，不仅将素材增加到4K ，还将帧率提高到每秒60帧。Shiryaev最火的作品是用Gigapixel AI将1896年拍摄的50秒无声短片《火车进站》(the Arrival of a Train at La Ciotat Station)做成了4K格式，把模糊的原片做成了高清画质，完全符合当下的高清视频标准！尽管存在一些缺陷，如图像会出现跳跃或某些细节依旧模糊，但已经很棒了！为了使这一作品更加完整， Shiryaev还为这部无声电影添加了声音。这些图像是通过生成对抗网络(GANs)得来的。科普一下， GANs是由两个相反的神经网络组成的。第一个网络基于训练对象的数据生成对象，而第二个的作用是确定对象的真实性。第一个网络通过不断尝试，直到它的作品完美到足以欺骗第二个网络。通过这种方式，才得以生成最有可能的图像。Gigapixel AI软件使用一种专有的插值算法来分析图像，它可以使图像更清晰，甚至在放大了600%之后。再来说说DAIN(深度感知视频帧插值) ，它可以将帧想象并插入现有视频剪辑的关键帧之间。换句话说， DAIN首先分析并映射视频片段，然后插入在现有图像之间生成填充图像。这与4K电视的运动平滑功能是同一个概念。为了在这段1896年的视频中达到同样的效果， Shiryaev添加了足够多的图像来将速度提高到60帧每秒。因此， DAIN自动生成，然后在最初记录的24张图像之外，每秒添加36张额外的图像。Shiryaev的 “火车”的视频修复版本看起来像是一部使用智能手机或GoPro拍摄的最新电影。与原始视频相比，效果非常惊人，尤其是在新版本中获得了流畅性。列车上的阳光反射和月台上的女士珠宝都被记录的很完整，也许是最显着的改进之一。

Shiryaev也用神经网络对这一修复视频进行了着色：从一堆彩色照片开始，将它们转换为黑白，然后训练神经网络以重建彩色原稿。修复后的视频传送门：https://youtu.be/EqbOhqXHL7EShiryaev的新技术也因此在技术圈火了起来，激发了包括大谷在内的更多技术人，修复珍贵的影像文献。除了上文提到的《开国大典》，在老片修复上， “中影·神思”的开发，能缩短修复电影所需时间的四分之三，成本可以减少一半，目前已成功应用于《厉害了，我的国》《血色浪漫》《亮剑》等多部影视剧的图像修复与增强当中。爱奇艺也推出了其自主研发的视频增强技术ZoomAI ，为电影修复提出解决方案，这是业内第一个利用较低成本、将深度学习技术应用在视频画质增强场景中的方案。但不可否认的是，这种技术如果被有恶意的人使用，例如，可以用于制作“伪造品”并允许视频中的身份盗用，也会导致巨大的社会问题。遍地开花的大谷：AI在游戏领域完全可以大展拳脚往前翻翻大谷的微博会发现，他做了很多有趣的小项目，比如AI足球队，大谷介绍道，他用了Unity的AI系统MLagent来训练球员，这些球员从最开始什么都不会到最后互相配合，到现在他已经打不过了。大谷感叹道， “AI在游戏领域完全可以大展拳脚” 。大谷想用AI把这款游戏做得更具体，比如做成回合制。大谷相信，如果训练时间足够，可以让AI学会怎么包抄、怎么做战术防略，以往的游戏AI很傻，玩家操作好就能赢，但如果用AI训练AI ，它就会狡猾很多，什么战术都能用上，会有很神奇的化学反应。分页标题

大谷还介绍到， Unity最近推出了一个新的AI系统Artengine ，主要是做游戏帖图的，在生还者、战神一类的游戏中，草、岩石等贴图之前还需要人去画，或者用照片修剪，但是Artengine可以复制不同的岩石图片，在花纹上会显示出差别，或者接合图片时，对图片中间的接缝可以凭经验把接缝涂掉。 “有了AI ，就可以做很多以前一个人难以实现的高分辨率的游戏场景” 。自称“程序员里最会画画的作曲家” ，大谷也介绍了一些绘画和音乐领域上的AI应用。在游戏音乐上，大谷表示， OpenAI的MuseNet十分强大，只需自己作前两小节曲子，就可以让AI自动补完后续，而且风格可以自选，莫扎特、巴特，都不在话下。在绘画上，大谷之前专门做了一期节目介绍绘画AI ，比如英伟达的GauGAN ，不少原画师都用这个来画背景；再比如Artbreeder ，这个网站能“杂交”输入模型，生成超现实主义风格的离奇图案，但同时又十分写视，很多艺术家在网站上进行创作，生成的作品可以商用也可以开源。比如大谷透露道，之前他用Artbreeder合成了诸葛亮和灭霸，效果很棒。心痒的文摘菌也去试了一下，不过在这里先卖个关子，大家可以猜猜这是怎么“杂交”出来的。

现在，大谷正在开发一款叫作漫展模拟器的游戏，以模拟经营漫展为核心企画，其中游客如果用AI来训练的话就会智能很多， “让他们自己逛漫展、买东西，这样会更自然” 。现在游客都是用状态机控制的，必须告诉他们饿了就得去吃东西，想上厕所就得去找厕所，否则就得尿地上。大谷介绍道，从17年底开始正式做这款游戏， B站会负责发行。玩家进入游戏后化身主播或者coser等身份成为漫展主办方，通过搭建电竞舞台、招租摊位、邀请明星嘉宾等方式，让患上肥宅综合征的人们来参加漫展，以促进虚拟世界的经济发展。

在众多网友催更之下，大谷说道，年底前这款游戏终于会出抢先体验版了，文摘菌还有点小期待呢！本文经授权转载自大数据文摘（ID：BigDataDigest）， 原始标题为“北京小伙用AI修复100年前的京城老视频爆火网络，作者：7天完成，颜色还有不足” ，如需二次转载请联系原作者