没想到，这个AI特效背后还隐藏着个“世界冠军”( 二 ) 《海贼王》|历史|势力|正文|抢

据了解，从算法研究到上线首发，研究团队仅用了两周的时间，并成功克服了用户ID生成，StyleGAN稳定性，移动端实时化三大落地挑战。而且，基于自研的GYNet，其在移动端的网络计算量降低了200倍。目前这项AI能力仍在持续积累和迭代中。
在3D重建方面，光影研究室推出了3D捏脸能力，它可以根据用户给定的照片自动化捏出一个3D的人脸效果。从脸部的shape，五官的细节，到头发的效果，在最大限度保留用户ID的基础上，提供了最佳体验效果。

文章插图
同时，在硬件适配方面，研究室团队针对低端机多了大量优化工作，包括底层使用TNN Inference框架，模型结构的小型化，模型的量化、裁剪，工程Pipeline的设计等。最终按照机型进行分发，保证了效果与速度的trade-off在高中低档机型的全面覆盖。
2、基础AI能力
这方面主要涉及检测&关键点、分割、分类三大类。上述语义分割算法GYSeg的研发属于这一范畴。值得一提的是，关于分割技术，光影研究室团队发表的论文《Context Prior for Scene Segmentation》，还登上了计算机视觉顶会CVPR2020。
在落地方面，除了泛娱乐场景外，以上前沿技术在图像处理、自动驾驶，自动医疗诊断等领域也有着极大地应用价值。比如语义分割算法GYSeg，在自动驾驶领域可用于区分路面阴影和真正的障碍物，以减少汽车误判率等。
据光影研究室介绍，团队定位为PCG的发布器技术中台，也承接了移动端的拍摄/相机/玩法类的AI能力，旨在通过前沿的AI能力、先进的玩法引擎和3D渲染技术，为腾讯的社交、短视频等产品用户提供服务。总体而言，业务方向更偏向To C端，更注重提升用户的娱乐体验。
透过光影研究室的技术布局和应用落地，可见其身上有两个显著的标签，一是聚焦“泛娱乐化场景”，二是“移动端部署”，后者从目前的落地成果来看，在行业内已具备核心竞争力。在整个腾讯AI产业布局中，这两个标签，也是腾讯光影研究室区别于腾讯优图、腾讯AI Lab最显著的差异化特征。
作为专注于研究前沿影像处理技术的团队，腾讯光影研究室曾孕育出“全民武媚娘”、“小学生证件照”、“军装照”等现象级刷屏玩法；在探索泛娱乐综合解决方案上，其愿景是让拍摄特效更丰富，让创作编辑更便捷，让光影内容更有趣。
据研究室负责人介绍，这支团队是一个从算法研究到工程落地自闭环的技术团队，具备CV，AR，3D引擎，特效玩法引擎，配套特效制作工具等完整的研发组织，强大的工程能力，这些都为光影CV算法的研究提供了有力支撑。
谈及未来的研发方向，光影研究室团队表示，未来在算法侧将会重点投入交互AI & 3D重建两方向，为腾讯社交内容生态提供持续不断的创新驱动力。在工程侧将会继续打磨、优化特效玩法，包括引擎的功能和性能，更灵活的特效玩法，同时持续优化素材创意制作工具，为业务的创意玩法生产发布进行提效。
【没想到，这个AI特效背后还隐藏着个“世界冠军”】最后关于AI特效，你有什么创意玩法？可评论区在线提需求[手动狗头]