「机器之心」决策树的复兴？结合神经网络，提升ImageNet分类准确率且可解释

机器之心报道
机器之心编辑部
鱼和熊掌我都要！BAIR公布神经支持决策树新研究，兼顾准确率与可解释性。
随着深度学习在金融、医疗等领域的不断落地，模型的可解释性成了一个非常大的痛点，因为这些领域需要的是预测准确而且可以解释其行为的模型。然而，深度神经网络缺乏可解释性也是出了名的，这就带来了一种矛盾。可解释性人工智能（XAI）试图平衡模型准确率与可解释性之间的矛盾，但 XAI 在说明决策原因时并没有直接解释模型本身。
决策树是一种用于分类的经典机器学习方法，它易于理解且可解释性强，能够在中等规模数据上以低难度获得较好的模型。之前很火的微软小冰读心术极可能就是使用了决策树。小冰会先让我们想象一个知名人物（需要有点名气才行），然后向我们询问 15 个以内的问题，我们只需回答是、否或不知道，小冰就可以很快猜到我们想的那个人是谁。
周志华老师曾在「西瓜书」中展示过决策树的示意图：

本文插图
决策树示意图。
尽管决策树有诸多优点，但历史经验告诉我们，如果遇上 ImageNet 这一级别的数据，其性能还是远远比不上神经网络。
「准确率」和「可解释性」，「鱼」与「熊掌」要如何兼得？把二者结合会怎样？最近，来自加州大学伯克利分校和波士顿大学的研究者就实践了这种想法。
他们提出了一种神经支持决策树「Neural-backed decision trees」，在 ImageNet 上取得了 75.30% 的 top-1 分类准确率，在保留决策树可解释性的同时取得了当前神经网络才能达到的准确率，比其他基于决策树的图像分类方法高出了大约 14% 。

本文插图
BAIR 博客地址：https://bair.berkeley.edu/blog/2020/04/23/decisions/
论文地址：https://arxiv.org/abs/2004.00221
开源项目地址：https://github.com/alvinwan/neural-backed-decision-trees
这种新提出的方法可解释性有多强？我们来看两张图。
OpenAI Microscope 中深层神经网络可视化后是这样的：

本文插图
而论文所提方法在 CIFAR100 上分类的可视化结果是这样的：

本文插图
哪种方法在图像分类上的可解释性强已经很明显了吧。
决策树的优势与缺陷
在深度学习风靡之前，决策树是准确性和可解释性的标杆。下面，我们首先阐述决策树的可解释性。

本文插图
如上图所示，这个决策树不只是给出输入数据 x 的预测结果（是「超级汉堡」还是「华夫薯条」），还会输出一系列导致最终预测的中间决策。我们可以对这些中间决策进行验证或质疑。
然而，在图像分类数据集上，决策树的准确率要落后神经网络 40% 。神经网络和决策树的组合体也表现不佳，甚至在 CIFAR10 数据集上都无法和神经网络相提并论。
这种准确率缺陷使其可解释性的优点变得「一文不值」：我们首先需要一个准确率高的模型，但这个模型也要具备可解释性。
走近神经支持决策树
现在，这种两难处境终于有了进展。加州大学伯克利分校和波士顿大学的研究者通过建立既可解释又准确的模型来解决这个问题。
研究的关键点是将神经网络和决策树结合起来，保持高层次的可解释性，同时用神经网络进行低层次的决策。如下图所示，研究者称这种模型为「神经支持决策树（NBDT）」，并表示这种模型在保留决策树的可解释性的同时，也能够媲美神经网络的准确性。