『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络( 二 ) 机器之心报道机器之心编辑部鱼和熊掌我

文章图片
在这张图中，每一个节点都包含一个神经网络，上图放大标记出了一个这样的节点与其包含的神经网络。在这个NBDT中，预测是通过决策树进行的，保留高层次的可解释性。但决策树上的每个节点都有一个用来做低层次决策的神经网络，比如上图的神经网络做出的低层决策是「有香肠」或者「没有香肠」。
NBDT具备和决策树一样的可解释性。并且NBDT能够输出预测结果的中间决策，这一点优于当前的神经网络。
如下图所示，在一个预测「狗」的网络中，神经网络可能只输出「狗」，但NBDT可以输出「狗」和其他中间结果（动物、脊索动物、肉食动物等）。

文章图片
此外， NBDT的预测层次轨迹也是可视化的，可以说明哪些可能性被否定了。
与此同时， NBDT也实现了可以媲美神经网络的准确率。在CIFAR10、CIFAR100和TinyImageNet200等数据集上， NBDT的准确率接近神经网络（差距
【『科技之感』提升ImageNet分类准确率且可解释，决策树的复兴？结合神经网络】神经支持决策树是如何解释的
对于个体预测的辩证理由
最有参考价值的辩证理由是面向该模型从未见过的对象。例如，考虑一个NBDT（如下图所示），同时在Zebra上进行推演。虽然此模型从未见过斑马，但下图所显示的中间决策是正确的-斑马既是动物又是蹄类动物。对于从未见过的物体而言，个体预测的合理性至关重要。

文章图片
对于模型行为的辩证理由
此外，研究者发现使用NBDT ，可解释性随着准确性的提高而提高。这与文章开头中介绍的准确性与可解释性的对立背道而驰，即：NBDT不仅具有准确性和可解释性，还可以使准确性和可解释性成为同一目标。

文章图片
ResNet10层次结构（左）不如WideResNet层次结构（右）。
例如， ResNet10的准确度比CIFAR10上的WideResNet28x10低4％。相应地，较低精度的ResNet^6层次结构（左）将青蛙，猫和飞机分组在一起且意义较小，因为很难找到三个类共有的视觉特征。而相比之下，准确性更高的WideResNet层次结构（右）更有意义，将动物与车完全分离开了。因此可以说，准确性越高， NBDT就越容易解释。
了解决策规则
使用低维表格数据时，决策树中的决策规则很容易解释，例如，如果盘子中有面包，然后分配给合适的孩子（如下所示）。然而，决策规则对于像高维图像的输入而言则不是那么直接。模型的决策规则不仅基于对象类型，而且还基于上下文，形状和颜色等等。

文章图片
此案例演示了如何使用低维表格数据轻松解释决策的规则。
为了定量解释决策规则，研究者使用了WordNet3的现有名词层次；通过这种层次结构可以找到类别之间最具体的共享含义。例如，给定类别Cat和Dog ， WordNet将反馈哺乳动物。在下图中，研究者定量验证了这些WordNet假设。

文章图片
左侧从属树（红色箭头）的WordNet假设是Vehicle 。右边的WordNet假设（蓝色箭头）是Animal 。
值得注意的是，在具有10个类（如CIFAR10）的小型数据集中，研究者可以找到所有节点的WordNet假设。但是，在具有1000个类别的大型数据集（即ImageNet）中，则只能找到节点子集中的WordNet假设。