算法|手机拍照“神仙打架”背后，厂商死磕计算摄影到底在比什么？ ai|摄影|摄像头

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

作者 | 云鹏
编辑 | 漠影
如果非要在当下旗舰智能手机大战中选一个最重要的比拼焦点，那大概率是拍照。
在iPhone带火了智能手机计算摄影浪潮后，经过十几年发展，如今的旗舰手机拍照基本上可以说是“神仙打架” ，普通人很难一眼看出照片之间的明显差异。
也正因如此，厂商们开始在拍照方面寻找差异化打法，由于硬件方面旗舰机采用的多是三星、索尼等大厂的通用方案，所以厂商更多将寻求差异的重点放在了软件算法的优化上。
随着AI在手机软件算法中的应用不断加深，如何通过AI算法让一部手机上的多枚摄像头实现良好的协同，实现“1+1+1>3”？成为了提升手机拍照效果的关键。
能够利用算力对影像系统进行优化也是手机相比单反相机的核心优势之一。
带着这些思考，智东西与旷视研究院研究员范浩强进行了深入交流，对手机多摄背后的AI技术进行了深入挖掘，并探讨了AI计算摄影的前路和未来。
一、拍好一张照片，真的需要这么多摄像头吗？从手机具备了拍照功能，能够让人们实现把一部相机揣在口袋里之后，大家对于手机拍照能力的追求就从未停止。
而手机拍照也经历了几个大家记忆犹新的发展阶段，从硬件性能单薄、单一依靠算法提升画质到手机摄像头数量大幅提升的“堆料”时代。
今天，随着手机空间的限制和芯片工艺技术的限制，手机拍照像素数量和传感器尺寸的增速都在放缓，这就更加考验厂商们如何在现有基础上打磨出更好的成片效果。
厂商们的思路开始不再只是“如何让一枚镜头变得很强” ，而是“如何让多枚镜头可以更好地协同起来”？
通过双摄变焦我们可以实现更好的拍摄效果、利用双摄虚化实现媲美单反相机的光圈效果、通过多摄融合有效提升图片质量，都成为了多摄协同的典型应用。
1、拍照不是像素越高越好，需要整个系统的搭配和组合
实际上，我们拍照中最常使用到的变焦、虚化、融合功能，都需要多枚摄像头之间的协同，而AI算法则成为了实现这种协同的关键。
在变焦方面，大家都知道拍摄不同的对象采用不同焦段可以获得更好的效果，比如拍摄人物通常使用85mm-135mm焦段，而拍摄风景则可能用12-24mm焦段更佳。
因此单一镜头很难满足这些需求，广角、超广角、长焦镜头这些不同焦段的镜头就可以更好地应对这些拍摄场景。
【算法|手机拍照“神仙打架”背后，厂商死磕计算摄影到底在比什么？】不过要知道，手机内部空间极其有限，手机摄像模组尺寸较小，还需要封装很多硬件和系统，所以很难有与单反相同的光学结构，因此目前手机上的镜头大部分都是定焦镜头，只能在特定变焦节点上实现真正的光学变焦。
比如我们常见的2倍、3倍、5倍、10倍变焦，而在拍摄这些光学变焦节点之间焦段的画面时，就需要通过“裁切”来实现，同时画面还可能要跨越不同的镜头。
这时，要实现多枚不同焦段镜头之间更平滑的连续变焦，就需要算法的加入。
通常来讲，比如在拍摄1.5倍变焦时，算法会将画面中心区域替换为更加清晰的2倍长焦拍摄画面，而四周则可以用1倍主摄的成像，将两者结合起来，实现双摄的融合。
范浩强也提出了一个很有意思的问题，如今主摄像素越来越高，为什么不可以直接通过主摄裁切实现变焦呢？
实际上，对于提升拍照效果来说，并不是单个镜头像素越多，画质越好，手机拍摄成像，需要整个系统的搭配和组合。