CVPR | 视觉推理解释框架VRX：用结构化视觉概念解释网络推理逻辑( 三 ) 机器之心发布作者：葛云皓本

文章图片
为此研究者提出概念图推理网络(GRN:GraphReasoningNetwork) ，以结构概念图为输入，通过知识蒸馏和迁移来模拟原网络的决策过程（如下图）。

文章图片
下图解释了概念图推理网络的训练过程：对于输入图片，该研究首先构建对于每个感兴趣类别的结构概念图（即先将图像进行分割，然后在所有patch中分别检测每个感兴趣类别的重要视觉概念：从下图中检测到2个消防车的视觉概念（黄色圆圈）， 2个老爷车的视觉概念...4个吉普车的视觉概念），这些检测到的视觉概念组成相应类别的结构概念图，表示对其决策的假设（该图是消防车吗？是老爷车吗...是吉普车吗？）很多类别我们只能检测到部分视觉概念，检测不到的视觉概念用dummynode来表示（黑色node）。然后概念图推理网络利用图卷积，对每一个结构概念图进行representation ，学习其视觉概念及其之间的关系对最终决策的影响。最后该研究把所有点和边concatenate为一个向量，通过非常简单的MLP输出对所有感兴趣类别的决策向量，并用知识蒸馏的方法使得概念图推理网络与原网络的决策一致。为了提升模拟的鲁棒性，该研究还用maskout视觉概念添加扰动的方法使得概念图推理网络与被解释的原网络在面对扰动时决策一致。（详细训练过程和公式推导请见原始paper）。

文章图片
训练中，所有类别的结构概念图共享一套图卷积的参数，但是每个类别在消息传递（messagepassing）中有专属的注意力权重参数eji ，类别专属的注意力权重参数是为了学习每个类别独特的视觉概念之间的空间和依赖关系，一方面可以解释并可视化概念图推理网络学习到的每个类别视觉概念之间潜在的关系（下图），另一方面为最终推理过程的解释提供了支持。下图是用学习到的消防车的eji筛选出重要的视觉概念之间的关系。边的eji值越大，代表点j对点i的贡献越大；从右边的sum可以看到消防车的视觉概念1和2对其他的视觉概念贡献最大，这也意味着他们是对消防车来说最有区分度的视觉概念。

文章图片
可视化决策解释器(VDI:VisualDecisionInterpreter)
训练好的概念图推理网络便是原网络的representation ，基于图卷积神经网络的概念图推理网络具有信息传递透明且容易追踪的特点，为了用结构概念图对推理过程进行解释，该研究提出了基于梯度的贡献度分配算法，为每个参与决策的点（视觉概念）和边（概念之间的关系）计算其对于特定决策的贡献值，贡献值的高低代表了其肯定还是否定了该决策。最后决策解释器可视化了对原网络输出的解释并回答为什么是吉普车？为什么不是其他类别？（颜色代表肯定：冷色，或否定：暖色）如下图右：（1）为什么是吉普车？从视觉概念角度，所有检测到的四个与吉普车最相关的视觉概念（前灯，挡风玻璃，后窗，车轮）都对最终吉普车的决策有正向贡献（深蓝或浅蓝）；从视觉概念的空间结构关系角度，四个概念之间的空间关系也都对决策有正向贡献，这说明视觉概念和他们之间的关系都像一辆吉普车。（2）为什么不是消防车？从视觉概念角度：从图中检测到的与消防车视觉概念最接近的四个部分及其相关结构和空间关系都对消防车的决策起到负向贡献（否定该图是消防车的决策）尤其是概念1和概念2 ，与真正的消防车概念最不相符。（3）为什么不是老爷车等？也同样可以得到相似的人们容易理解的、逻辑上的、视觉概念角度的解释。

文章图片
实验和结果
视觉推理解释(VRX)与原网络之间逻辑一致性实验
第一个实验目的是验证视觉推理解释框架(VRX)做出的推理解释与原网络的逻辑是一致的。
如下图，原网络Xception错把一张消防车分类成了救护车， VRX给出解释（如左图）：为什么不是消防车？因为从图像中检测到的消防车的视觉概念3和4都对消防车的决策起到负向贡献即否定该决策。为什么是救护车？因为检测到的救护车的视觉概念3和4都对救护车的决策起到正向贡献，即肯定该决策。即使所有消防车视觉概念之间的空间关系（边）相对救护车的空间关系更加合理，但是综合来看， Xception还是做出了救护车的决策。