ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源

本文插图
本文解读的是ECCV 2020 论文《Spatial-Angular Interaction for Light Field Image Super-Resolution》，论文由国防科技大学、上海科技大学、中山大学合作完成。
作者 | CV君
编辑 | 丛末

本文插图
论文链接：https://arxiv.org/pdf/1912.07849.pdf
代码链接：https://github.com/YingqianWang/ LF-InterNet
1
引言
光场（light field ， LF）相机可以记录当前场景多个视角的图像，在重聚焦、深度估计、显著性检测、场景3D感知方面具有广泛应用。
然而受硬件条件限制，光场图像在空间分辨率（每个视角的图像分辨率）与角度分辨率（视角的采样密度）上存在制约关系。
该文针对光场图像超分辨问题开展研究，提升每个视角图像的空间分辨率。
作为底层视觉的一个关键任务，图像超分辨在近年来受到了广泛关注。对于单幅图像，超分辨算法需要充分利用低分辨率图像的上下文信息（空间信息）恢复高分辨率图像中对应的细节纹理。
对于光场图像，结合每个视角图像的空间信息与不同视角图像的互补信息（角度信息）可以提升超分辨的性能。然而由于光场图像的高维特性，充分利用并结合空间信息与角度信息非常具有挑战性。
该文提出光场“空间-角度”信息交互网络（LF-InterNet）实现光场图像超分辨：
首先，该文结合光场的结构特性提出空间特征提取子（spatial feature extractor ， SFE）与角度特征提取子（angular feature extractor ， AFE），分别用于提取光场图像的空间信息与角度信息。
而后，该文设计LF-InterNet对所提取的空间信息与角度信息进行渐进式交互融合。
该文在6个公开数据集上对所提算法进行了测试评估，实验结果表明LF-InterNet的性能达到了领域SOTA水平，同时具有较小的参数量与较高的运行效率。
2
方法
? 空间-角度信息提取

本文插图
图1 光场图像结构示意图
如图1所示，光场图像按照左图方式进行排列可以组成阵列子图像（sub-aperture image ， SAI）；若将每幅阵列子图像相同空间位置的像元按照视角顺序进行排列，则可以构成宏像元图像（macro-pixel image ， MacPI）。该文所提SFE与AFE均以宏像元图像作为输入，如图2所示。

本文插图
图2 空间特征提取子（SFE）与角度特征提取子（AFE）
图2为简化的光场宏像元图像示意图，其中光场的空间分辨率与角度分辨率均为3*3 。图中涂有不同底色的3*3区域表示不同的宏像元，每个宏像元内的3*3像元标有不同的符号（十字、箭头等），表示其属于不同的视角。
AFE定义为kernel size=A*A ， stride=A的卷积（其中A为光场的角度分辨率，图2中A=3）；SFE定义为kernel size=3*3 ， stride=1 ， dilation=A的卷积。注意到，将AFE应用于宏像元图像时，只有单个宏像元内的像元参与卷积运算，而不同宏像元之间的信息不互通。
同理，将SFE应用于宏像元图像时，只有属于相同视角的像元参与卷积运算，而属于不同视角的像元不互通。因此， AFE和SFE可以分别提取光场的角度信息和空间信息，实现信息的解耦。

本文插图