科技|抖音“变身漫画”滤镜，背后用了什么黑科技！中薪|高薪|滤镜|黑科技|变身

最近，抖音推出了一款动漫特效滤镜“变身漫画”，能够让用户在直播中，把自己的现实形象瞬间转变为二次元“画风”。对于动漫二次元爱好者来说，“打破次元壁，变身纸片人”这种自娱自乐方式可谓久玩不腻，在此之前，各种美颜修图和视频直播类app也都纷纷开发了类似功能，但没有一个能够让用户拥有“二次元分身”。那么，这种能够“动起来”的二次元滤镜，背后隐藏什么黑科技呢？

文章插图
著名电竞选手PDD秒变二次元美少年，观众纷纷表示：“裂开了”神奇的风格迁移从计算机视觉制作的角度讲，把一张图片与另一张的视觉要素相混合，称为风格迁移（style transfer）。

文章插图
把日本著名浮世绘作品《神奈川冲浪里》迁移到一匹骏马皮肤表面的效果 |www.theverge.com一张照片的风格迁移，可以由人工操作，利用视觉编辑软件完成。当然，像抖音这样在全球拥有上亿用户的短视频社交平台，同时要应对如此多用户的视觉滤镜呈现，就需要人工智能算法加持，尤其是“卷积神经网络”（Convolutional Neural Network, CNN）。今天， “深度学习”之所以是个热门概念，都可以追溯到卷积神经网络在2012年的横空出世。不要被这个高大上的名词吓到，它的原理其实也不复杂，用小学数学就可以解释：在AI眼里，任何图片都是像素构成的矩阵（左），卷积核（kernal）是另一个小矩阵（中），它们叠加在一起，对应位置的数值相乘再求和，得到“特征映射”（右）。【 科技|抖音“变身漫画”滤镜，背后用了什么黑科技！】

文章插图
卷积核一般都不大，有的5x5，有的3x3，好比工兵的地雷探测器，去探测图片里存在的模式。信息逐级加工，最终得到一个分类识别的结果。

文章插图
今天的AI，要想识别视觉形象，必须首先教它“学会”特征提取 | www.cnblogs.com提醒大家，千万不要以为现在人工智能就是科幻电影里的超级电脑，全知全能。其实它现在的“认知能力”非常弱，几乎只等于0到4岁的儿童。如上图所示，科学家们如果想要人工智能识别一些基础物体，比如人脸、汽车、动物，和椅子，那么首先就要把这些物体的特征“提取”出来，也就是上图第二行图中那些五官、车轮、象鼻、椅背什么的，交给人工智能去“记忆”。然而可怜的人工智能“智商捉急”，只能再把这些特征进一步简化为第三行图中的简单形状符号，加以“死记硬背” 。而人工智能领域的科学家，就必须像耐心的父母教育小朋友那样，不断调整，优化这些最基础的形状符号，把它们变成机器能够理解的“卷积核参数”。卷积核里的数字决定了它能探测到什么样的特征，或者是轮廓，或者是形状，也可能是纹理，而“风格”就是各式特征的组合。这些负责判断不同图形特征的卷积核分层排列在一起，就成了卷积神经网络。

文章插图
ImageNet成立后，每年还会组织一次全球视觉识别挑战赛（ILSVRC），鼓励全球科研团队拿出自己的 AI图像识别算法进行PK | www.medium.com小朋友识别物体，最好的办法就是与周边环境多接触，或者看绘本画册。对于AI这个小朋友来说，它看的绘本，是ImageNet：一个具有1000类、数千万张图片的超大型数据集。卷积神经网络就像一个笨笨的小朋友，成天在ImageNet里面玩着“看图识物”的训练游戏，久而久之，它逐渐具备了相当的特征提取能力。要让人工智能实现对大批量的实时图像进行批量风格迁移，就好比让这个笨笨的小朋友先浏览一大堆物品的形状和颜色，然后再训练他提取不同的特征，最后形成图像。好比说，如果要让孩子画一张“紫色大象“的图片，父母就必须给孩子出示两张照片，一张是非洲草原能上的大象，一张是紫色色卡。那么，AI这位小朋友就开始了作画（计算），首先把这两张照片传送到同一个神经网络，加以合成，要求这张新画作上图像的外形尽量与大象接近，颜色尽量靠近紫色，那么AI经过反复的内容与风格特征提取，最终可能会达到一个满意的效果让AI自己学会作画那么AI有没有可能像部分聪明的小朋友那样，不用科学家（父母）的指导，而开始自学呢? 科学家们想出来一个点子：对抗网络（Generative Adversarial Network），由两套独立的人工智能网络构成，分别是生成网络（G）与判别网络（D）。生成网络就是那个画画的笨孩子，判别网络就像是个严格的美术老师，负责给孩子的作品打分。