「机器之心」决策树的复兴？结合神经网络，提升ImageNet分类准确率且可解释( 二 )

本文插图
在这张图中，每一个节点都包含一个神经网络，上图放大标记出了一个这样的节点与其包含的神经网络。在这个 NBDT 中，预测是通过决策树进行的，保留高层次的可解释性。但决策树上的每个节点都有一个用来做低层次决策的神经网络，比如上图的神经网络做出的低层决策是「有香肠」或者「没有香肠」。
NBDT 具备和决策树一样的可解释性。并且 NBDT 能够输出预测结果的中间决策，这一点优于当前的神经网络。
如下图所示，在一个预测「狗」的网络中，神经网络可能只输出「狗」，但 NBDT 可以输出「狗」和其他中间结果（动物、脊索动物、肉食动物等）。

本文插图
此外， NBDT 的预测层次轨迹也是可视化的，可以说明哪些可能性被否定了。
与此同时， NBDT 也实现了可以媲美神经网络的准确率。在 CIFAR10、CIFAR100 和 TinyImageNet200 等数据集上， NBDT 的准确率接近神经网络（差距
神经支持决策树是如何解释的
对于个体预测的辩证理由
最有参考价值的辩证理由是面向该模型从未见过的对象。例如，考虑一个 NBDT（如下图所示），同时在 Zebra 上进行推演。虽然此模型从未见过斑马，但下图所显示的中间决策是正确的-斑马既是动物又是蹄类动物。对于从未见过的物体而言，个体预测的合理性至关重要。

本文插图
对于模型行为的辩证理由
此外，研究者发现使用 NBDT ，可解释性随着准确性的提高而提高。这与文章开头中介绍的准确性与可解释性的对立背道而驰，即：NBDT 不仅具有准确性和可解释性，还可以使准确性和可解释性成为同一目标。

本文插图
ResNet10 层次结构（左）不如 WideResNet 层次结构（右）。
例如， ResNet10 的准确度比 CIFAR10 上的 WideResNet28x10 低 4％。相应地，较低精度的 ResNet ^ 6 层次结构（左）将青蛙，猫和飞机分组在一起且意义较小，因为很难找到三个类共有的视觉特征。而相比之下，准确性更高的 WideResNet 层次结构（右）更有意义，将动物与车完全分离开了。因此可以说，准确性越高， NBDT 就越容易解释。
了解决策规则
使用低维表格数据时，决策树中的决策规则很容易解释，例如，如果盘子中有面包，然后分配给合适的孩子（如下所示）。然而，决策规则对于像高维图像的输入而言则不是那么直接。模型的决策规则不仅基于对象类型，而且还基于上下文，形状和颜色等等。

本文插图
此案例演示了如何使用低维表格数据轻松解释决策的规则。
为了定量解释决策规则，研究者使用了 WordNet3 的现有名词层次；通过这种层次结构可以找到类别之间最具体的共享含义。例如，给定类别 Cat 和 Dog ， WordNet 将反馈哺乳动物。在下图中，研究者定量验证了这些 WordNet 假设。

本文插图
左侧从属树（红色箭头）的 WordNet 假设是 Vehicle 。右边的 WordNet 假设（蓝色箭头）是 Animal 。
值得注意的是，在具有 10 个类（如 CIFAR10）的小型数据集中，研究者可以找到所有节点的 WordNet 假设。但是，在具有 1000 个类别的大型数据集（即 ImageNet）中，则只能找到节点子集中的 WordNet 假设。