产业气象站|Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”( 二 ) YoshuaBengio来Twitter传道授业解惑啦

电子版免费哦：https://www.deeplearningbook.org/
还有中文版哦：https://github.com/exacity/deeplearningbook-chinese
学会必要的数学知识，然后去研究建议的参考文献，以确保具备阅读机器学习论文所需的知识。然后阅读大量论文，并亲自进行大量实验。问自己问题，不要认为任何事情都是理所当然的。
2
学术讨论06、RakshithV：您对近期自监督学习的发展有什么看法？
YoshuaBengio：自监督学习是一个非常古老的想法，只是用了新术语，它基本上是从无标签（或标签不足）的数据中生成表征形式。
近年来，它的威力变得越来越为人所知，它将继续成为我们工具箱的一部分，但仅凭自监督学习不足以解决诸如OOD泛化和学习更高级别的抽象之类的问题。
07、MayurJain：现实生活中存在偏见/歧视，而偏见/歧视又反映在数据中。由于很难在现实中更改数据，那要如何克服数据中存在的偏见/歧视？
YoshuaBengio：我不是这个问题的专家，但是有专门针对此问题的讲座和教程。出发点是同情心，要思考我们的行为如何伤害或帮助他人，并且要明白让不公正现象继续存在是不可接受的。
我们每个人只要做一点点改变就可以逐渐改变社会规范、文化和实践，从而朝着更加公平和包容的社会迈进。
在日常生活（包括工作）中思考自己可以做的事情，以及从其他人正在做的事情中寻找启发。
08、AntonioRegalado：请问您的新论文是对计算机和人类推理偏见（bias）的辩护吗？
YoshuaBengio：归纳偏置（inductivebias）和偏见不是一个概念。机器学习探索各种归纳偏置。在这项研究中，我们尝试从大脑中获取灵感，以探索可能有更好泛化能力的神经网络架构。最好的归纳偏置有很好的泛化能力。很多基于推理的经典AI都是受人类认知启发的，现代机器学习也是如此。
09、HarmvanSeijen：研究模块化网络上时要注意的主要陷阱是什么？
YoshuaBengio：这是机器学习和深度学习研究的常规方法，我认为，我们应该从OOD泛化性和迁移学习任务中的样本复杂性方面衡量增益，而不是依据常规的基准。
实验效果不佳的话，可能会让人们感到沮丧，过去这也发生在我身上。解决方案是：用长远的眼光重新思考，以决定是否继续努力。
10、AlejandroPiadMorffis：您对AutoML感兴趣吗？您认为AutoML和NAS是机器学习和深度学习未来发展的重心还是边缘领域，或者它仅是面向应用的方法？
YoshuaBengio：我对AutoML研究，以及架构搜索和生物进化之间的联系感到着迷。不仅是架构，学习过程本身也应该成为搜索的一部分。
然而，这种盲目搜索的问题在于：它使得我们更难以科学地（例如在数学上）理解算法的过程。
我想说这种研究是不得已而为之，是一种绝望的选择，认为我们可能无法使用理性找到解决方案，而需要依赖蛮力。
11、SamiulHasan：神经网络还无法解决哪些问题？
YoshuaBengio：当前的神经网络大多擅长人类的系统1（经验）的能力，但并不擅长某些系统2（理论）的能力。
语言学家一直特别强调，与当前的机器学习（包括深度学习）相比，人类擅长系统概括。人类可以系统地将通用概念重组以形成清晰而新颖的含义，甚至可以应用到全新的领域，。
12、MohitSharma：许多机器学习研究是易于进行的并且可以独立进行。但是，理论研究很难独立地在没有指导的情况下发表在COLT/ICML中。您对此有什么建议呢？
YoshuaBengio：去接触从事您认为有趣的工作的初级研究人员。
13、HiteshKumarBalapanuru：在AI中存在以下几个问题：
（1）泛化能力vs在有限测试数据集上更高的准确率（数据可能反映现实世界模式）