ECCV2020最佳论文解读之递归全对场变换光流计算模型( 二 ) 作者：周仲凯来源：公众号|计

文章插图
配，总共进行batch次上述操作。匹配过程如下式所示，其中与分别为第一帧图像特征与第二帧图像特征， i,j,k,l分别为第一帧与第二帧图像特征的高、宽索引, h为图像特征的通道维度索引。 RAFT在原始图像分辨率1/8的图像特征上通过迭代优化光流，光流的初始值设定为0,也就是说不产生移动，然后通过该光流索引上述尺寸为[batch, h, w, h, w]的cost volume(方便表示记作CT1) ，具体来说便是：在第一次迭代中，因为光流初始值为0 ，那么便利用上述CT1索引第二帧图像中以当前像素点为中心的9x9邻域范围内点的匹配结果，后续迭代中，因光流迭代之后不为0 ，同样进行上述索引，只不过需要在当前点上施加一个光流的位移，通过此操作获得的cost volume记作CT2 ，尺寸为[batch, d, h, w] ， d与PWC-Net论文中的参数一样，一般为81 。通过上述操作便可使匹配范围进一步扩大，进而在下文中将要提到的更新迭代模块中求得残差光流，用来补偿初始光流。可通过Pooling操作获得不同分辨率下的CT2 ，用来获得局部以及整体的特征。
【ECCV2020最佳论文解读之递归全对场变换光流计算模型】2.3 更新迭代模块
更新迭代模块的输入由四部分组成：两份context提取模块输出， CT2 ，以及上层迭代过程输出的光流。该模块利用GRU模块以及卷积操作，计算出相对于上次迭代过程输出光流的残差光流，然后与上次迭代过程输出光流进行相加用作补偿。需要注意的是，该模块中利用卷积操作学习上采样权值，使当前1/8分辨率下的光流上采样到与输入图像同尺寸，具体形式如下图所示，其中w1-w9为利用卷积操作学习到的权重，也就是说，上采样之后的光流结果中每一像素点的值都与其周围的9个像素点有关。最后，输出每一次迭代过程生成的全分辨率光流结果，用于损失函数计算，更新模型中的参数。
文章插图
3 RAFT模型中的损失函数
RAFT模型中总共进行12次优化迭代，也就是说会产生12个全分辨率下的光流结果。迭代次数越多，光流计算精度越精确。 RAFT模型采用的是监督算法，具体步骤可以表示为：通过求取12次光流迭代过程中的光流计算结果与光流真实值的L1范数，并且迭代的次数越多，对应L1范数结果的权值也就越大(说明该结果对整个损失函数的影响越大) ，如下式所示，其中， N=12 。
文章插图
4 总结
本文叙述了ECCV最佳论文RAFT的一般计算步骤，如有不足，请多多指教。
本文仅做学术分享，如有侵权，请联系删文。