深度学习后图灵奖得主Bengio研究核心是什么？因果表示学习机器之心报道编辑：魔王、杜

机器之心报道编辑：魔王、杜伟
在近日发表的一篇论文中，图灵奖得主YoshuaBengio等详细介绍了其团队当前的研究重心：将机器学习与因果推理相结合的因果表示学习。研究者不仅全面回顾了因果推理的基础概念，并阐释了其与机器学习的融合以及对机器学习的深远影响。该论文已被《ProceedingsoftheIEEE》期刊接收。
一直以来机器学习和因果推理是两个相对独立的研究方向，各有优缺点。
但在过去数年，两者开始互相借鉴，推进彼此的发展。如机器学习领域的蓬勃发展促进了因果推理领域的发展。采用决策树、集成方法、深层神经网络等强大的机器学习方法，可以更准确地估计潜在结果。在机器之心2018年的报道文章中，图灵奖得主、因果关系模型倡导者之一JudeaPearl也探讨了当前机器学习理论的局限性以及来自因果推理的七个启发。
于是，近年来，将两者结合起来的因果表示学习（CausalRepresentationLearning）吸引了越来越多的关注，成为人类迈向HumanLevelAI的潜在方向。
机器之心曾在2020年初，精选了几篇因果表示学习领域的最新文献，细致分析了不同方法的基本架构，帮助感兴趣的读者了解因果学习与机器学习可结合的方向和可能。（参考：反事实推理、特征分离，「因果表示学习」的最新研究都在讲什么？）
今天，我们再为大家推荐一篇因果表示学习论文：YoshuaBengio团队发表的《TowardsCausalRepresentationLearning》，该论文已被《ProceedingsoftheIEEE》期刊接收。
在2020年底的一场讲座中， Bengio称这是他们当前研究项目的核心。

文章图片
论文链接：https://arxiv.org/pdf/2102.11107.pdf
YoshuaBengio等人在这篇论文中回顾了因果推理的基础概念，并将其与机器学习的关键开放性问题联系起来，如迁移与泛化，进而分析因果推理可能对机器学习研究做出的贡献。反过来看也是如此：大多数因果研究的前提是因果变量。因此目前AI与因果领域的核心问题是因果表示学习，即基于低级观测值发现高级因果变量。最后，该论文描绘了因果对机器学习的影响，并提出了该交叉领域的核心研究方向。
这篇论文的主要贡献如下：
论文第二章介绍了物理系统中因果建模的不同层级，第三章展示了因果模型与统计模型的区别。这里不仅探讨了建模能力，还讨论了所涉及的假设与挑战。论文第四章将独立因果机制（IndependentCausalMechanisms ， ICM）原则扩展为基于数据估计因果关系的核心组件，即将稀疏机制转移（SparseMechanismShift）假设作为ICM原则的结果，并探讨它对学习因果模型的影响。论文第五章回顾了现有基于恰当描述子（或特征）学习因果关系的方法，覆盖经典方法和基于深度神经网络的现代方法，主要聚焦促成因果发现的底层原则。论文第六章探讨了如何基于因果表示数据学习有用的模型，以及从因果角度看机器学习问题。论文第七章分析了因果对实际机器学习的影响。研究者使用因果语言重新诠释了鲁棒性和泛化，以及半监督学习、自监督学习、数据增强和预训练等常见技术。研究者还探讨了因果与机器学习在科学应用中的交叉领域，并思考如何结合二者的优势，创建更通用的人工智能。因果建模的层级
独立同分布设置下的预测
统计模型是对现实的粗浅描述，因为它们只需建模关联。对于给定的输入样本X和目标标签Y ，我们可能会想近似P(Y|X)以回答如下问题：「该图像包含狗的概率是多少？」或者「在给定诊断测量指标（如血压）下，病人心脏衰竭的概率是多少？」。在合适的假设下，这些问题可以通过基于P(X,Y)观察足量的独立同分布（i.i.d.）数据来得到答案。
分布偏移下的预测
干预式问题（Interventionalquestion）的挑战性要比预测更高，因为它们所涉及的行为超出了统计学习独立同分布设置。干预（intervention）可能影响因果变量子集的值及其关系。例如「增加一个国家中鹳鸟的数量能否促进人类生育率的增长？」、「如果烟草被更多地添加了社会污名化色彩，抽烟的人是否会减少？」
回答反事实问题
反事实问题需要对事情的发生原因进行推理，在事情发生后设想不同行为的后果，决定哪些行为可以达到期望的结果。回答反事实问题要比回答干预式问题更难。但是，这对于AI而言或许是关键挑战，因为智能体能从想象行为的后果和了解哪些行为带来特定结果中获益。