韭菜花音乐|Bengio首期推特小课堂：从“AI未来五年”谈到怎么教小孩学机器( 二 ) 原创青暮AI科技评论前天作者|青暮编辑|

学术讨论
06、RakshithV：您对近期自监督学习的发展有什么看法？YoshuaBengio：自监督学习是一个非常古老的想法，只是用了新术语，它基本上是从无标签（或标签不足）的数据中生成表征形式。近年来，它的威力变得越来越为人所知，它将继续成为我们工具箱的一部分，但仅凭自监督学习不足以解决诸如OOD泛化和学习更高级别的抽象之类的问题。 07、MayurJain：现实生活中存在偏见/歧视，而偏见/歧视又反映在数据中。由于很难在现实中更改数据，那要如何克服数据中存在的偏见/歧视？YoshuaBengio：我不是这个问题的专家，但是有专门针对此问题的讲座和教程。出发点是同情心，要思考我们的行为如何伤害或帮助他人，并且要明白让不公正现象继续存在是不可接受的。我们每个人只要做一点点改变就可以逐渐改变社会规范、文化和实践，从而朝着更加公平和包容的社会迈进。在日常生活（包括工作）中思考自己可以做的事情，以及从其他人正在做的事情中寻找启发。 08、AntonioRegalado：请问您的新论文是对计算机和人类推理偏见（bias）的辩护吗？YoshuaBengio：归纳偏置（inductivebias）和偏见不是一个概念。机器学习探索各种归纳偏置。在这项研究中，我们尝试从大脑中获取灵感，以探索可能有更好泛化能力的神经网络架构。最好的归纳偏置有很好的泛化能力。很多基于推理的经典AI都是受人类认知启发的，现代机器学习也是如此。 09、HarmvanSeijen：研究模块化网络上时要注意的主要陷阱是什么？YoshuaBengio：这是机器学习和深度学习研究的常规方法，我认为，我们应该从OOD泛化性和迁移学习任务中的样本复杂性方面衡量增益，而不是依据常规的基准。实验效果不佳的话，可能会让人们感到沮丧，过去这也发生在我身上。解决方案是：用长远的眼光重新思考，以决定是否继续努力。 10、AlejandroPiadMorffis：您对AutoML感兴趣吗？您认为AutoML和NAS是机器学习和深度学习未来发展的重心还是边缘领域，或者它仅是面向应用的方法？YoshuaBengio：我对AutoML研究，以及架构搜索和生物进化之间的联系感到着迷。不仅是架构，学习过程本身也应该成为搜索的一部分。然而，这种盲目搜索的问题在于：它使得我们更难以科学地（例如在数学上）理解算法的过程。我想说这种研究是不得已而为之，是一种绝望的选择，认为我们可能无法使用理性找到解决方案，而需要依赖蛮力。 11、SamiulHasan：神经网络还无法解决哪些问题？YoshuaBengio：当前的神经网络大多擅长人类的系统1（经验）的能力，但并不擅长某些系统2（理论）的能力。语言学家一直特别强调，与当前的机器学习（包括深度学习）相比，人类擅长系统概括。人类可以系统地将通用概念重组以形成清晰而新颖的含义，甚至可以应用到全新的领域，。 12、MohitSharma：许多机器学习研究是易于进行的并且可以独立进行。但是，理论研究很难独立地在没有指导的情况下发表在COLT/ICML中。您对此有什么建议呢？YoshuaBengio：去接触从事您认为有趣的工作的初级研究人员。 13、HiteshKumarBalapanuru：在AI中存在以下几个问题：（1）泛化能力vs在有限测试数据集上更高的准确率（数据可能反映现实世界模式）（2）如果算法准确率很高，可解释性是否重要？可以分享一下您对此的看法吗？YoshuaBengio：机器学习领域将很多研究精力放在泛化的一般形式上，以测试与训练数据拥有相同分布的数据。我认为我们正在转向分布外（out-of-distribution）泛化，这将实现更强的鲁棒性。此外，从拟合数据分布转向建立其抽象表征以捕获因果结构的方法（使用类似于单词的概念，即语义表征），也应该有助于解释性。 14、VenkateshwarRagavan@ICML’2020：鉴于神经科学对理解人工神经网络产生了深远的影响，还有哪些学科（如物理学等）将在理解人工神经网络黑箱子方面发挥关键作用？YoshuaBengio：物理学已经对神经网络产生了重大影响，比如基于能量的模型、玻尔兹曼机、熵和互信息的概念，以及物理和因果推理之间的关系。推荐你看看这个视频：https://www.youtube.com/watch?v=4qc28RA7HLQ15、UjjwalUpadhyay：有一个观点说，表征学习有助于解决对抗性学习问题，您怎么看？YoshuaBengio：首先，人类也容易遭受对抗攻击（视错觉、心理偏见等）。其次，我相信，一旦能够训练深层网络捕获对世界的高级抽象理解，我们将得到更加鲁棒的系统。这个问题与系统2（理论）相关联，当然，也以系统1（经验）为基础。当前许多成功作弊的对抗样本都利用了系统依赖于底层特征（即不够抽象的特征）的特点。 16、AlexSimonelis：您认为国家是否应该限制AI研究？YoshuaBengio：这是一个棘手的问题。但是，作为研究人员或工程师，我们确实需要注意误用AI对社会的影响。 17、GregYang：我很好奇您在“意识先验”方面的最新研究成果是什么？相关论文：https://arxiv.org/abs/1709.08568YoshuaBengio：我最近的论文中有很大一部分是对此的后续研究，有几篇正在提交中。值得注意的有两个分支：一个是关于因果发现（在稀疏的因果图中）的系列论文，另一个是关于模块化循环架构的论文。关于循环独立模块，我在ICML发表的论文中涉及的自上而下的注意力就是一个例子。可以查看我最近的演讲以得到更广泛的了解，比如在Tubingen机器学习SummerSchoool上的演讲。 No1：https://www.youtube.com/watch?v=c_U4THknoHENo2：https://www.youtube.com/watch?v=PDPdIDihPvc18、HarmvanSeijen：您认为，是否存在可以对大多数形式的组合进行编码的模块化网络设计？还是我们需要不同形式来编码不同形式的组合？YoshuaBengio：在深度网络架构中，至少已经利用了两种形式的组合性，一种形式来自分布式表征，另一种形式来自深度。模块化和注意力以及可能的其他机制（例如工作记忆）可能是另一种形式的要素，有可能帮助实现人类所拥有的系统概括能力。 3