傻大方


首页 > 潮·科技 > >

技术|从抖音、快手背后的技术,谈AI内容产品的启发( 二 )



按关键词阅读:


技术|从抖音、快手背后的技术,谈AI内容产品的启发
文章插图
图2 比心特效
二、美颜、美妆、美体、美牙等人像美化功能这些其实都是基于关键点技术,无论是人脸的关键点检测还是人体的关键点检测技术,不论是5点、21点还是137、200+、1000+的点,又从2D的关键点到3D的关键点,这里都是为了帮助机器确认人脸的五官位置以及面部轮廓来进行的比例调整,比如大眼、瘦脸、瘦腰、拉腿等等。
这些比较基础,对于关键数量依赖比较少。如果想要做得更加精细,比如美妆里面需要进行眼妆(睫毛、眼影、眼线、眼睑下至、卧蚕)等等小部位的刻画,这就需要关键点数量的增加,甚至如果想要做丰额头、高鼻梁、低颧骨、丰苹果肌等效果,就需要一些3D mesh(从原来的点形成网状结构)的辅助。
技术|从抖音、快手背后的技术,谈AI内容产品的启发
文章插图
图3 2D人脸关键点和3D关键点,人像美化的最基础技术
技术|从抖音、快手背后的技术,谈AI内容产品的启发
文章插图
图4 人体关键点技术
又或者是如果在美体这个用户体验做到既可以拉腿、细腰、丰胸,同时又不让背景畸变,就需要引入matting和inpAInting的技术了(既抠图和补全),有些场景下也可以使用3D人体重建的技术。比如说剪映软件里的换背景功能也依赖于抠图能力。
牙齿美白、口红依赖于分割技术,比如我最近在使用剪映牙齿美白功能的时候,嘴巴前面有一个遮挡物时,就会在遮挡物上就浮现了一个白色的月牙状不明物体,这是因为牙齿没有像嘴巴一样做遮挡状态的判断,呈现了一种俗称“穿帮”的画面,非常尴尬。
三、AR类(人和环境)所谓AR类的,我们统一都定义为在已有的现实空间中叠加3D渲染的CG素材,不论是叠加在人脸上的、还是叠加在环境中的。
这些底层技术一部分依赖于3D的人脸关键点的定位技术,另一部分依赖于对于空间的3D定位技术,如何在不同的用户手机姿态运动下、用户本身做各种动作的情况下,能保证叠加3D素材的绝对位置的固定(因为现实生活中的物体都是绝对静止的、不会随着手机的运动而动来动去),这个是对于技术考验最大的部分。
当然3D素材的精致程度,很大程度也依赖于CG的生成效果。
技术|从抖音、快手背后的技术,谈AI内容产品的启发
文章插图
图5 google基于Android像开发者提供的ARcore能力,对标的苹果有ARkit
同时,这类型的技术还非常适合跟广告主结合,广告主通过某个主题的风格或者元素,平台推出、大V优先使用引发网友参与最后形成二次传播,使得品牌的产品及形象在网友中引发广大的讨论。
比如在ins上,Gucci、LV、Dior就订制了很多富含自己品牌元素的AR贴纸套装供用户使用,用户在拍照录视频玩的同时,也可以体验产品虚拟试穿、试戴的效果,进一步促进购买转化。
技术|从抖音、快手背后的技术,谈AI内容产品的启发
文章插图
图6 ins上的gucci lens(特效)
四、生成类网络(GAN)随着蚂蚁呀嘿的一夜爆火,zao等AI换脸引发社会广泛伦理道德的讨论,社会对于GAN生成类的特效一直有很高的热度,比如说“变三岁”、当你老了、迪士尼风、国漫风、手绘小姐姐等等。
由于GAN本身网络的特性就十分适合短视频这类、以内容生产作为主要驱动力的产品定位,通过使网络学习大量的目标图片的风格,AI技术结合一些短视频类的模板就可以非常快速地帮助用户生成非常搞笑的、可爱的、炫酷的短视频内容,也非常适合结合短视频平台的各种节日运营活动展开,比如万圣节生成鬼怪妆容、儿童节生成儿童脸,520/情人节“变男友”等等。
技术|从抖音、快手背后的技术,谈AI内容产品的启发
文章插图
图7 快手平台520活动变男友,应用的就是GAN网络生成有夫妻相的男友
虽然在任何时代,内容为王此话不假,但是在所有UGC的平台都已经被AI深度渗透、成为不可或缺的一部分的时候,你的产品没有反而无法留住用户。此时的AI技术在Kano模型当中已经从一个魅力需求变成了一个基础需求。
据内部消息,小红书已经大规模高薪聘请CV算法工程师来帮助提升其平台内容的AI多样性,你认为这必要么?
作者:大仙河,7年AI产品相关经验;微信号 :大仙河知识学堂
本文由@大仙河 原创发布于人人都是产品经理,未经许可,禁止转载。
本文为人人都是产品经理《原创激励计划》出品。


稿源:(人人都是产品经理)

【傻大方】网址:/c/1202b25052021.html

标题:技术|从抖音、快手背后的技术,谈AI内容产品的启发( 二 )


上一篇:电子商务|?“电商税”来了,实体经济或将翻身?

下一篇:中国工程院院士|《智能交通》正式出版发行 系国内首部全面阐述智能交通“中国模式”专著