一文入门当今最火的3D视觉( 二 ) 一.导论目前深度学习已经在

文章插图
最后的Loss采用了(x*y)/(|x|*|y||)的方法，因为我们所预测的图像具备图像的方向和深度的信息，而图像的方向和大小正好可以由向量表示，岂不美哉？每一个训练集当中的图片的其中一个像素点都可以由一个向量来表示，同时具备深度（长度）和方向的信息。而原图当中某个像素点的大小可以表示为向量x ，通过神经网络推测之后的同一个像素点则可以表示为向量y,因此我们可以使用公式(x*y)/(|x|*|y||)来衡量这两个向量之间的差距，其中(x*y)中的乘法使用了点乘，因此上下相除可得cos(theta)也就是图片当中某个像素点所具备的loss的大小，将整个图片当中所有像素点的大小加起来则可以得到整个图像当中loss的大小了。
四.Voxel Grid网格表示法
文章插图
如上图所示，我们可以将一张二维的图片转为一张三维的Voxel grid图，什么是Voxel grid图呢？Voxel grid图就是在一个三维的，大小为V*V*V的空间立体当中，由一系列1*1*1正方体网格堆砌出来的三维立体图形， Voxel grid图当中的每一个网格只具有两个值， 1或者0 ， 1表示这个地方有正方体， 0表示这个地方没有正方体。一个Mesh图当中只保留物体的形状和大小信息，而不保留物体的颜色以及纹理的信息。
我们先来看一个有趣的问题，用什么方法可以对三维Voxel grid图进行分类呢？我们暂时不考虑将二维图像恢复到三维Voxel grid图的情况的话，常见的手段是使用立体3D卷积，如下图所示：
文章插图
3D立体卷积和我们的2D卷积有一点不同之处，那就是卷积核的神奇之处是它竟然是一个正立方体！而不是一个二维的平面！在上图当中，我们的输入是一个四通道的1*30*30*30的Voxel grid图，输入的图像可能是一个椅子，也可能是一个床。我们通过三维卷积，不断地进行卷积以及池化的操作，接着使用全连接神经网络将其展开，最后使用softmax函数将其继续拧分类。我们使用3D卷积能够对立体图像的特征进行更为有效的检测，因为一个立体的图像不仅仅有长和宽上面的信息，还有其有关深度的相关信息，因此需要采用3D卷积。 3D卷积的动态图如下所示，这个例题动态图当中卷积核的大小为3*3*3：
再回到我们刚才的问题，如何将一个二维的图像转化为Voxel grid图呢，我们可以采用的卷积神经网络如下所示：
文章插图
首先我们将二维的图像首先送入到一个2D卷积神经网络当中，用于提取这个二维图像的特征，然后通过全连接神经网络或者Flatten层将其展平一个一维的向量，这样就可以更加方便地转化reshape为四通道进行三维卷积的形式，前面我们已经说过三维卷积能够更好地抽象地还原和提取到图像在三维空间上的个特征，因此我们对刚才二维图像抽象出来的特征通过三维卷积进行还原，这是一个通过三维卷积进行上采样的过程。最后输出的结果就可以得到我们的Voxels grid图啦！
但是使用三维卷积常常就会用更为昂贵的代价来换取更为准确的结果，因为三维卷积使用的参数过多，如下图所示：
文章插图
我们仅仅储存1024^3个Voxels grid网格就需要电脑4GB的显存，实在是太大了！好多电脑的显存还没有这么大呢！因此有些研究人员则直接使用二维卷积对图像进行三维的还原，当然效果肯定没这么好啦，如下图所示：
文章插图
这个思想就很和我们的自编码器（Auto-Encoders）很像了。
五.采用隐函数我们还可以采用物体在三维空间当中的函数图像来表示一个立体物体，我们再用神经网络来重新拟合出这个函数就好啦，个人觉得在这种方法不太合理，如下所示：
文章插图
六.采用3D点云采用3D点云应该是目前比较靠谱的方案，
文章插图
在3D点云当中每一个点，都有三个参数，分别是每个点在x,y,z轴上的位置，对3D点云进行分类的话和对Mesh分类的方法差不多，也是经过一定的神经网络再经过softmax函数就可以得到最后的分类了！如下图所示：