ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源( 二 )

图3 LF-InterNet结构图
? 网络结构
基于AFE与SFE ，该文构建了LF-InterNet网络，如图3所示。假设光场图像的空间分辨率为H*W、角度分辨率为A*A ，上采样系数为α ，网络的输入为低分辨率光场宏像元图像（HA*WA），输出为高分辨率光场阵列子图像（αHA*αWA）。网络可以分为特征提取、空间角度特征交互、特征融合重建三个阶段。
（1）特征提取：将该文所提AFE与SFE应用于输入的光场宏像元图像，可以分别提取光场的角度特征（H*W）与空间特征（HA*WA）；
（2）空间角度特征交互：用于实现空间角度特征交互的基本单元为交互块（Inter-Block）。该文将4个交互块级联构成交互组（Inter-Group），再将4个交互组级联构成网络的交互部分。如图3(b)所示，如图3(c)所示，在每个交互块中，输入的空间特征与角度特征进行一次信息交互。一方面，角度特征上采样A倍后与空间特征进行级联，而后通过一个SFE与ReLU实现角度信息引导的空间特征融合；另一方面，空间特征通过AFE卷积提取新一轮的角度特征，并与输入的角度特征进行级联，而后通过一个1*1卷积与ReLU进行角度特征的更新。空间特征分支与角度特征分支均采用局部残差连接。
（3）特征融合与重建：网络的每个交互组输出的空间特征与角度特征分别进行级联，而后通过bottleneck模块进行全局特征融合。如图3(c)所示，在bottleneck模块中，角度特征首先通过1*1卷积与ReLU进行通道压缩，而后通过上采样与空间特征进行级联。所级联的空间特征通过SFE与ReLU进行通道压缩，而后与初始提取的空间特征相加实现全局残差连接。融合所得到的特征通过SFE进行通道扩增，而后通过光场结构转换层（LF reshape ，图3(d)）将宏像元形式的特征重组为阵列子图像形式，最后通过pixel-shuffle层与1*1卷积层输出高分辨率光场阵列子图像。
? 实施细节
该文采用表1所示的6个公开数据集进行训练与测试。网络训练采用L1 loss ，评测指标采用峰值信噪比PSNR和结构相似度SSIM 。除特殊说明外，输入光场的角度分辨率为5*5 ， LF-InterNet的通道数设为64 ，每个场景的评测数值为各视角子图像评测数值的均值，每个数据集的评测数值为该数据集下所有场景评测数值的均值。
表1 该文所采用的公开数据集

本文插图
3
实验
1、消融研究
实验部分首先通过消融研究对网络中不同模块和方案的有效性进行验证：
? 角度信息与空间信息
表2 不同信息融合方式的对比

本文插图
表2实验表明，空间信息与角度信息对超分辨性能均有增益，且该文所提SFE与AFE能够通过对空间信息与角度信息的解耦进一步的提升超分辨性能。
? 特征交互组的数量分析
表3 不同数量交互组的性能对比

本文插图
? 角度-空间上采样方式
表4 不同角度-空间上采样方式的性能对比

本文插图
? 角度分辨率
表5 不同角度分辨率的性能对比

本文插图
2、算法对比
该文在表1所示的6个公开数据集上将LF-InterNet与单图超分辨算法VDSR（CVPR16）、EDSR（CVPRW17）、RCAN（ECCV18）、SAN（CVPR19）、SRGAN（CVPR17）、ESRGAN（ECCVW18）以及光场图像超分辨算法LFBM5D（ICIP18）， GB（TIP2018）， LFSSR（TIP18）， resLF（CVPR19），以及LF-ATO（CVPR20）进行了比较，结果如下。