[爱范儿]单摄也能拍虚化照片，新 iPhone SE 是怎么做到的？( 二 )

本文插图
▲GooglePixel2、3使用DPAF技术获得的两张视差图，肉眼难以感知，但仍可以帮助图像分割算法做出判断
此前， Google在Pixel2、3上也运用了这样的技术来实现单摄虚化。而在Pixel4上，由于该机换成了多摄规格，视差探测明显比单摄更精准。

本文插图
▲再来看看Pixel4靠两颗摄像头获得的数据，视差更明显，也能收集到更精准的数据
至于新iPhoneSE ，由于它的传感器过于老旧， Halide称它无法依靠传感器来获取视差图，基本只能靠A13Bionic芯片所提供的机器学习算法，去模拟和生成深度数据图。
一句话解释就是， iPhoneSE的人像虚化拍摄，完全是靠软件和算法来实现的。

本文插图
▲用iPhoneXR和新iPhoneSE直接对着这张照片拍摄
Halide用iPhoneXR和新iPhoneSE分别拍摄了一张小狗的照片（并非实拍，只是给「一张照片」拍照），然后对比两张图的深度数据。
他们发现， iPhoneXR仅仅是做了简单的图像分割，将主体抠了出来，但并没有正确识别出小狗的耳朵。

本文插图
▲深度数据图，左边是iPhoneXR ，右边是新iPhoneSE
但在新iPhoneSE上，配合A13芯片所提供的全新算法，我们则得到了一张完全不同于XR的深度图。它不仅正确识别出了小狗的耳朵和整体轮廓，还针对不同远近的背景做了分层处理。
这种深度图并不是100%准确的， Halide表示，新iPhoneSE在拍摄非人脸题材的虚化照片时，抠图和虚化的精准度明显没有拍人像时来得精准。
尤其是在一些主体和背景图十分模糊的情况下，此时多摄像头的优势会更明显些。

本文插图
▲在这类非人脸题材，且主体和背景没有明显分割的场景下，新iPhoneSE的虚化就很容易出错
从这张图可以看到，配备了多摄系统的iPhone11Pro ，不仅能将圆木上小植物轮廓完整地勾出来，而且还能对识别出背景的远近距离，并做出分层处理。

本文插图
▲深度数据图，左边是iPhone11Pro ，右边是新iPhoneSE
而在新iPhoneSE上，尽管同样有分层处理的结果，但被摄主体和背景已经完全融在了一起，做后期虚化处理时自然会比iPhone11Pro差不少。

本文插图
▲实际的虚化样张，左边是iPhone11Pro ，右边是新iPhoneSE
这也是为什么，当新iPhoneSE使用iOS自带相机应用时，只有在检测到人脸的情况下，才能启用「人像模式」拍虚化照片，其余情况则会出现错误提示。

本文插图
原因仍然和苹果的算法有关。 Halide提及了一个名为「PortraitEffectsMatte」（人像效果遮罩）的技术，主要用于在人像模式照片中寻找出精确的人物轮廓，包括边缘的发丝、眼镜框等细节，然后再将主体和背景进行分割。
但目前来看，这套基于机器学习的分割技术更多是为「拍人」所准备的，它的确可以弥补iPhoneXR、iPhoneSE这类单摄手机在视差数据上的不足，但如果拍摄对象从人物换成其它物体，算法也会出现判定错误。