神经现实我们该如何信任它们？，AI也有偏见( 二 ) 1970年

我们中的大多数人也许极少有机会成为工程师、法官、医生，但这不妨碍黑箱AI对我们的生活造成影响。与我们的一厢情愿相反，不够透明的AI系统非但没有比人类更客观、公正、精确，反而加深了既存的偏见和不公正，对数字民主和基本人权构成威胁，而对这些系统的控制、介入和审计也更为困难。当我们无法解读AI作出的决策，对它未来的预期不过是纸上谈兵，信任也无从谈起。
可解释AI（ExplainableAI ，即XAI）想要解决的正是这类问题。 XAI认为，通过解释AI系统的决策过程，人类能够更好地理解它的机制、优缺点、潜在影响等特性，从而更有效地预测系统的行为，达到逐步建立信任关系的效果。
如果AI革命不可避免，至少一个可被解释的系统能够更好地融入崭新的算法社会契约——例如伊亚德·拉万（IyadRahwan）提出的社会回环（Society-in-the-loop）——与人类共生存，而不必成为敌对的关系。
我需要一个解释
可解释AI终究是为人服务的（好比高阶编程语言是为了人类设计的，否则机器之间的“交流”大可以用机器编码之类人类无法轻易读写的“语言”）。所以“解释性”也是相对人而言的。关于黑箱AI系统，什么样的解释才是好的解释？心理学家和哲学家早就开始分头研究，但各执一词。
解释常常需要阐述特定的因果关系或因果模式，例如“我不吃杏仁，因为我对坚果过敏” 。这样的解释非常贴切（没有转移话题），直接明了（不存在循环论证），逻辑严密。有的现象却很难用通俗的因果关系解释——请试着回答， “我掷了一次骰子，为什么朝上的一面是3？”当然，你可以引用物理法则来解释掷骰子的具体过程，但我可能一头雾水。
为了避免这样的尴尬，你也许会提及相关的（非因果的）概念，比如“随机性” ，或是用类比等手法让你的解释更容易被听众接受（比如上一段的第一句话）。一般而言，因果关系在解释中占据不可动摇的地位，但不是唯一的手段。

文章图片
Zoe?vanDijk
既然解释本身可以有各种形式，为了筛选出最好的可解释AI ，我们为什么不直接问：你理解这个系统在做什么吗？相关的心理学研究也的确使用了类似的方法来推断人们是否能够通过描述性解释理解某一概念。它们发现，客观上，当受试者对某一概念有更好的理解时，他们能通过主观的直觉感觉到自己的认知进步，好比“茅塞顿开” 。
然而，耶鲁大学的列昂尼德·罗森布里特（LeonidRozenblit）和弗兰克·凯尔（FrankKeil）提出的“解释深度的错觉”（IllusionofExplanatoryDepth）仿佛当头一棒。罗森布里特和凯尔让受试者首先评价自己对某一工具（比如拉链）的理解，然后详细地解释这个工具的工作机制，并再次评价自己的对它的理解。
他们发现，相比一开始，试图解释后的受试者对自己理解的评价明显下滑，仿佛突然意识到自己其实一知半解。这就是“解释深度的错觉” 。这种错觉影响着所有人（包括小孩子），并且只作用于解释性的知识。完全相反的情况也不少见：人们会自称不理解一个动力系统，却能熟练地使用它。
另一方面，规范（normative）解释在哲学（尤其是科学哲学）中发扬光大。规范解释有意忽略个人因素，比如认知能力，而是关注“应有”的理解。因此，规范理解可以被视为一种基准，用来分析哪些信息应当被包含在解释里，以及受众会有何种程度的理解。更进一步地说，好的（规范）解释应当从理解的目的出发，基于受众与黑箱AI的关系给出不同的解释。
显然，修补系统漏洞的工程师和审核系统公正性的法官所需的理解是不同的。我们可以合理假设前者具有足够的技术知识背景，也许将计算模型可视化就提供了足够好的解释。后者需要的是更抽象的文字解释，比如“其他条件不变， COMPAS系统预测黑人被告和白人被告被再次逮捕的概率不同。 ”两种都是好的（规范）解释，一旦互换却可能成为各自的鸡肋。