游戏研究社AR 黑科技：随手拍张照片，就能把现实“抠”进你的电脑里

本文插图
虚拟换衣服的软件看来是快来了。
前两天，网友CyrilDiagne发表了一个挺好玩的视频：他用手机对着物体拍照片，就能直接自动去掉背景，留下他想要的物体。再把手机对准电脑屏幕，手机里抠好的图像就会自动贴进电脑里，好像把现实拷贝进屏幕一样。
我刚看见这个视频的时候，还以为这是一个后期剪辑特效的演示。
让我没想到的是，这居然是一个真的可以运行的AR程序。作者Cyril还很大方地把实现这个功能的代码公开了，只要你在手机和电脑上安装好对应的客户端，就可以自己体验一把"复制粘贴现实"的感觉。
为了实现这个充满科幻感的效果，这个程序分成了两个部分。第一部分是拍照并且把照片主体的背景抠掉。抠图在过去是一个特别繁琐复杂的工作，没有人工参与几乎是不可能完成的。不过这两年，深度学习AI的进步简化了这个过程。比如新版本的Photoshop现在有个叫做"选择主体"的功能，就是利用AI识别进行抠图，效果相当出色。

本文插图
现在的AI抠图功能已经非常成熟了，识别准确度很高，只需要很少的后续调整
Cyril的"拷贝现实"软件也离不开AI的帮助。根据Cyril的说法，他使用了一种叫做BASnet的新算法。这种算法从模拟人眼的视觉习惯出发，训练计算机识别出图像上的主体物体，并且生成一个可以将主体抠出来的蒙版。

本文插图
通过使用一个预测模组和一个优化模组， BASnet算法生成的蒙版边缘更加清晰，也有更多细节。
【游戏研究社AR 黑科技：随手拍张照片，就能把现实“抠”进你的电脑里】

本文插图
根据论文的说法， BASnet算法生成的抠图蒙板（左起第三行）比其他算法有更少的噪音和精确的细节
Cyril说，这个算法是他的"拷贝现实"软件能够精确把物体的图像抠出来的关键。从视频展示的效果来看，确实非常出彩。

本文插图
不过把物品抠出来只是第一步，接下来还要把抠出来的物品"粘"到电脑屏幕上。这部分的难点在于软件需要知道图像要"粘"在哪里。为此， Cyril开发了另一个程序，可以通过分析电脑屏幕上各个定位元素的位置，来确定手机屏幕里的物体在电脑屏幕上的坐标。

本文插图
再之后，通过无线网络将手机上的物体照片传送给电脑，这个步骤就比较简单成熟了。
当然，视频中"拷贝"的物体背景都是白墙，降低了AI识别物体的难度，所以实际使用起来效果未必有展示的那么好。另外整个"拷贝"的过程需要的时间比较长，还要借助第三方云计算，真正干活可能还是直接拍图片同步进Photoshop抠图会快得多。

本文插图
中间等待的时间说实话有点长
Cyril的这套软件，最大的价值还是展示了一种新的交互方式的可能性。软件本身没有采用太多超前的技术，但是过程中间的每个步骤都非常精确稳定，给人的感受就非常科幻了。类似"虚拟穿衣"、"虚拟口红试色"之类的现实增强应用过去一直都有，但是大部分都停留在噱头阶段。从Cyril的"拷贝现实"软件开始，或许我们离科幻小说和电影里的画面，又更近了一步。