深度解析神经网络中每个神经元的使命 | MIT朱俊彦&港中文周博磊力作( 三 ) 作者|李科雨编辑|陈大鑫我们都

通过找到针对每个类别最重要的神经单元，研究人员揭露到了物体和场景之间的关系。比如，下图展示了针对类别“滑雪胜地” ，在conv5_3层中最重要的四个单元：
文章插图
【深度解析神经网络中每个神经元的使命 | MIT朱俊彦&港中文周博磊力作】在移除单元261 ， 149 ， 242和105之后，在“滑雪胜地”这一类别上的分类准确度遭到了最大的破坏。具体来说，这些单元检测到了“雪”、“山脉“、”房屋“和”树“这四类物体，而这些物体对于判断类别是否为”滑雪胜地“的过程中起着至关重要的作用。
为了检测网络对“滑雪胜地”的分类能力是否只取决于最重要的单元，研究人员对选择出的不同单元分别进行了移除，结果如下图：
文章插图
结果显示，当移除最重要的四个单元之后，对“滑雪胜地”分类准确度从81.4%降低到了64% ，而当最重要的前20个神经单元被移除之后，准确度降为了53.5% ，而这一值，已经几乎接近随机分类50%的准确度，这两个操作对于所有类别的分类准确度来说，并没有造成太大的影响。
而如果只移除剩余492个神经单元之后，分类准确度只降到了77.7% ，于此相对的是，对于所有类别的分类准确度来说，这一操作具有毁灭性作用——准确度从53.3%瞬间降低到了2.1% 。
下图详细展现了移除最重要和最不重要神经单元对“滑雪胜地”分类准确度的影响曲线：
文章插图
从上图可以看出，该网络对“滑雪胜地”类别的分类准确度绝大部分依靠最重要的几个神经单元。甚至，在移除最不重要的单元之后，单个类别的准确度还得到了一定程度上的提升。
进一步的探索证明，这个特定的内部组织——在此神经网络中，针对某个单一输出类的准确度高度依赖于一小部分的重要单元，适用于所有类别。下图展示了针对365个风景类别的不同神经单元移除情况对应的准确度分布密度曲线：
文章插图
从上图我们可以看出，在conv5_3中，由单元组成的物体探测器的出现并不是一个假象：每个单元都对特定类集合有着重要作用，同时，物体探测器的出现可以被理解为：它将网络对单个风景的分类分解为了更简单的子问题。
为什么一些神经单元与实际语义概念可以匹配得如此美妙，而其他的单元则不可以呢？下图展现了最具有可解释性的单元，是那些同时对许多输出类别都很重要的单元，而那些只对一个（或者无）类别重要的单元的解释性更差，这一过程主要是通过对IoU的评估来完成的。
文章插图
接着，研究人员发现了，重要单位与其相关的类别主要呈正相关，不同单元的组合为每个类别提供支持。
以上的研究结果给了新的启发和疑问：
可解释的单元的出现是依赖于将视觉世界分为数百个场景图片的训练标记吗？可能对场景的分类学对于学习物体来说很重要。或者，神经网络可以从视觉数据本身去推断某些概念吗？
为了探索这些问题，研究人员进一步对无监督任务训练出的模型进行了相似的实验。
对抗生成网络中物体检测器的出现生成对抗网络（GAN）模拟训练集中真实图像分布，来学会合成随机真实图像。从结构上讲，训练有素的GAN生成器是分类器的反面——它从随机输入的潜矢量产生逼真的图像。与分类不同，它是一种无监督的设置：GAN没有提供人工注释，因此网络必须自己学习图像的结构。
很明显的，研究人员观察到， GAN可以学习一个图片的全局语义：举个例子，在潜在矢量之间的插值操作可以平滑地改变一个房间的布局，或者改变一个物体的质地。团队人员希望去了解到， GAN是否可以同时学习去解构局部语义，比如，网络的内部单元是否可以将场景的生成表示为有意义部分的层次结构。
研究人员测试了被训练模仿LSUN厨房图像的Progressive GAN图像。这一网络结构由15个卷积层组成。给定一个从多变量高斯分布采样出512维的向量，在经过15层之后，这个网络结构生产一个256*256大小的实际图像，如下图所示：

深度解析神经网络中每个神经元的使命 | MIT朱俊彦&amp;港中文周博磊力作( 三 )

深度解析神经网络中每个神经元的使命 | MIT朱俊彦&港中文周博磊力作( 三 )