怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么( 三 )




怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么


怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么

最后再来点熟悉的面孔,猜一猜是谁?

怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么


怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么


怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么


怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么


怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么


怎样评价最近很火的 Snapchat 的二次元动漫风格滤镜能分享一下视频么

-END-


■网友的回复
这玩意和前两个月抖音上的那个差不多,作为发过图像卡通画论文的字节前员工(虽然抖音那个卡通画项目我没参与),从技术的角度来讲一下,不保证完全准确。
这个功能的核心应该是用一个GAN网络把人脸变成动漫风格,为了在手机上做实时inference,网络不能太复杂,输入的分辨率也不能太高,导致最后的结果看起来比较粗糙,有点模糊。另外很可能会按照手机的性能下发不同模型,所以高端机上面的效果会好一些。
整个工程的流程应该是首先人脸检测/关键点模型找到人脸区域,切出来之后由网络变成动漫风格,剩下的背景部分过一个基于传统方法的滤镜。根据其他回答的图,snapchat用的滤镜和抖音的不太一样,看起来比较像保边滤波。个人来讲比较喜欢snapchat的人脸效果,但是抖音的背景效果更好。
关于人脸效果,抖音的那个滤镜具体怎么做的我就不透露了,不过估计各家大同小异。之前百度最早在自家短视频app上了实时动漫脸,但是因为实在没啥人用,所以没火。他们应该是用ugatit的预训练模型大量跑图,挑选出效果好的,然后找画师美化一下,弄了大批量的成对数据数据做pix2pix训练。snapchat这个我感觉也是这样,而且效果也更像日本动画,而抖音那个更像国内言情小说插画。这也是目标群体审美不同的缘故吧,毕竟最后效果都是pm和设计师定的,我们这些码农没啥发言权。
关于背景效果,snapchat的比较像这篇论文:
https://www.kyprianidis.com/p/tpcg2008/jkyprian-tpcg2008.pdf而抖音的背景效果比较像这篇论文: