光流估计——从传统方法到深度学习( 三 ) 1.摘要近年来

文章插图
图3-2-8 FlowNet2.0 整体框图
作者给出的FlowNet2.0实验结果如图3-2-9 ，其中给出了5种版本的FlowNet2,FlowNet2、FN2-CSS-ft-sd/FN2-css-ft-sd、FN2-ss、FN2-s ，c/C代表Coor网络， s/S代表Simple网络，小写(s,c)代表网络参数较少（缩小了卷积和数量）的版本。 FlowNet2是指FlowNet2的完整网络(如图3-2-8) ， ft代表在真实数据集上进行了fine-tune ， sd代表包含small-displacement模块。因此，实验结果表明FlowNet2达到了所有方法State-of-the-are结果（包括非实时的传统方法），计算效率要比最好的传统方法快两个数量级，达到了实时的要求。并且根据不同的应用需求，不同速度和精度的要求，有不同的版本供选择。
文章插图
图3-2-9 FlowNet2.0 对比结果
4. 应用光流，从物理意义的角度看，描述了视频中物体、对象在时间维度上的关联性，从而建立了视频中连续图像之间的关联关系。因此，最为直接而自然的应用就是视频中物体的跟踪，在物体跟踪领域知名的TLD算法便借助了光流估计，图2中展示了在车辆上的特征点光流跟踪的效果。在视觉里程计和SLAM同步定位与建图领域，光流可以作为图像特征点匹配的一种方式，比如知名的视觉惯性里程计开源算法VINS-Mono 。英伟达也提供了基于其GPU的光流SDK,其中展示了利用光流进行视频动作识别(video action recognition)和视频插帧的应用，如图4-1 ， 4-2 。
文章插图
图4-1 光流应用于动作识别
文章插图
图4-2 光流应用于视频插帧
5. 总结对于稀疏光流，本文提到的Lucas-Kanade是一种经典且有效的算法，对于稠密光流估计，传统方法需要在精度和速度上做出取舍，而最新基于深度学习的FlowNet2算法可以实时取得state-of-the-art的精度。
参考文献[1] Ilg, Eddy, et al. "Flownet 2.0: Evolution of optical flow estimation with deep networks."Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
[2] Dosovitskiy, Alexey, et al. "Flownet: Learning optical flow with convolutional networks."Proceedings of the IEEE international conference on computer vision. 2015.
[3] NVIDIA Optical Flow SDK, Accessed at 2019/7/20
源自：
声明：部分内容来源于网络，仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥，请联系删除。