搞算法还要当“美学家”？旷视要用AI重新定义计算摄影智东西（公众号：zhidxcom）文

文章插图
智东西（公众号：zhidxcom）
文 | 云鹏
如果要拎出当下旗舰手机三大比拼核心点，那么芯片性能、影像系统、屏幕效果必不可少。
在5G时代，短视频拍摄火爆，摄影和视频创作已经逐渐走进普通人的生活中，因此摄影摄像几乎成为了手机厂商们争夺的关键技术高地。
当然，攻下这座山头似乎并不容易，各家都组建起自己的影像算法研究团队，并且和索尼、徕卡这种“大厂”进行合作，共同调教算法。
其实这种利用算法，拓展相机硬件获取信息能力，来尽可能丰富和全面呈现我们肉眼所见世界的方式，被行业内称之为计算摄影。
文章插图
对于计算摄影的研究，难度其实很大，因为这需要有比较聚焦、专一的研究团队和一定的数据基础，同时在算法研发工具、平台方面的要求也不低。
有需求，就有市场，很多在视觉算法领域有一定积累的企业，也开始抓住计算摄影这条关键赛道，尝试给出自己的解题方案，而AI似乎在这其中扮演着越来越重要的角色。
为了揭开这层面纱，理解AI对于计算摄影的根本意义，以及不同玩家究竟是如何与“光影艺术”打交道的，智东西与AI企业旷视科技的工程师进行了深入交流。
一、都是800万像素，凭什么你拍的更好？其实大家真正对于“拍照不止于硬件”有所感知，是从iPhone开始。从iPhone 5一直到iPhone 6s ，苹果一直在沿用一颗800万像素摄像头。
但苹果却凭借这一枚祖传800万像素摄像头， “吊打”了当时一众安卓旗舰手机的拍照素质，在一个小小的相机模组背后，对于硬件的调教和算法产生了关键作用。
时间来到2018年，谷歌Pixel 3系列凭借最佳镜头模式、超级变焦、夜景拍照等功能，成为了当时的“地表最强单摄”手机。
文章插图
从过去让手机拍的到，到今天让手机拍得好，同样的像素，接近的光学尺寸，但成像效果却相去甚远。
曾经厂商们给手机拍照增加各种各样的功能，但最后发现，一拍即得，反而是用户最需要的，而实现这种体验的背后，需要算法提前做大量工作。
其实在计算摄影领域，旷视已经深耕多年，只不过略显低调。前几年手机刷脸解锁和刷脸支付成为热门，这背后旷视的算法就多有应用。今天，旷视要将AI的能力融入影像算法，在他们看来， AI才是计算摄影的未来方向。
二、跟“光“打交道，硬件需要AI来帮忙那么AI到底如何给手机影像系统赋能？这听起来似乎有些抽象。通过与旷视工程师进行交流，我对他们基于深度学习神经网络能力的“AI+CV”超画质技术有了更深的理解。
其实通俗来讲，这类技术就是通过AI来对高画质数码相机的成像特性进行学习，还原景物原有的细节纹理，使画面品质得到整体提升。
也就是说， “原来硬件看不到的， AI来告诉它都有什么” ，获得超越图像原本的效果，从而让用户可以更加简单便捷的获得一张“好照片” 。
旷视特别提到，目前他们的超画质产品已经在50多款热销手机中有所应用，并多次在相机评测机构DXOMark中取得当时的最高分。
具体来看，旷视的超画质技术主要是针对全局和细节两方面分别进行优化处理。
比如画面细节增强、动态范围提升、降噪效果提升这类属于全局优化的范畴，而闭眼融合修复、天空噪声优化、挥手鬼影优化这些则属于细节优化。
文章插图
旷视的工程师告诉智东西，对于“超画质” ，旷视追求的是整体影像拍照好看，这个好看主要是对于光的处理。
“光有三个域，分别是时域、频域、空域。旷视超画质做的核心工作，就是对三个域上的信号进行增强，或者优化处理。 ”
就比如对于噪声的优化，旷视算法的核心就是对时域和空域信号的补充。
首先AI会对自然光谱进行学习并总结特性，然后就可以借此对相机传感器所捕捉的信号进行分辨，哪些是噪声，哪些是成像需要的信号。最后把需要的部分还原，把噪声的部分去掉，这就是AI在降噪算法上的一个典型应用。
三、计算摄影的本质，是“光感知”的协同设计从超画质技术，我们可以看出旷视对于计算摄影的发展路径有着自己的理解和判断。