[驯服象的人]关于新一代机器学习方向的思考

2019年， Patterson和Eggleston发表了一篇论文《The Blending of Human and Autonomous-Machine Cognition》，他们认为认知的核心问题在于创造意义。他们对创造意义的解释是对外界事物感知结果的一种思维、推理、决策的过程。基于认知心理学和神经科学的长期研究，计算机科学家试图模拟人类大脑的认知过程，目前最新的研究进展聚焦于深度神经网络，通过深度神经网络模拟人类神经处理机制的激励、刺激响应等复杂抽象的生理活动，从而试图实现机器对人类思维、推理、决策过程的模拟，做到像人类一样的认知。然而，目前看来，这种神经网络的设计与人类大脑的神经活动相差甚远。
举例，大人在教小孩学习新的知识时，比如教他认识树，指着树告诉他这是树，小孩通过眼睛看，进行视觉特征提取（比如形状像伞、颜色是绿色、由一个树干和多个树枝组成、上边密密麻麻全是树叶等），大脑记忆和思维等一系列复杂过程，学会了认识树。目前的深度学习技术设计的神经网络通过模拟人类的视觉特征提取过程，分析大脑视觉反馈区域V1、V2、V4等不同层特征的过程已经基本实现，但是和人类对新事物认知的过程差距很大，下面从几个差距较大的问题出发，关注一下现在机器学习和认知技术的发展现状和水平：

本文插图
树的认知
问题1 ，现有深度学习模型的训练依赖大量的树的图片样本（不同光照、视角、种类等），不会像人类一样，大人教小孩一次这是树，小孩相当于只见过一张图片就已经完成了识别树的过程。这就引出了一个比较火的问题——“小样本学习”（few shot learning）。
【[驯服象的人]关于新一代机器学习方向的思考】问题2 ，人类的认知能力不会随着时间的流逝越来越差，反而是学的东西越多，能力越强。而现有基于深度学习模型训练的机器持续学习能力很差，当一个识别树的模型训练好后，识别树没有问题，而且精度很高，但再识别其他的新事物，就需要重新训练一个模型，训练好的新模型再识别树时性能远不如前。这一问题引起了大量学者的关注和思考，这种“狗熊掰棒子”的机器学习引发的问题被学术界称之为“灾难性遗忘” ， “持续学习”（Life Long Learning）或许是下一步研究热点
问题3 ，人在学会认识树以后，当树上出现一些小动物时，人类还会认为它是树。但对于机器而言，相当于给树的图片加入了噪声，基于深度学习训练的模型很可能认为它不是树。这种现象反映了当前机器的认知能力非常脆弱，很容易被欺骗。这一问题引起了大量学者的关注和思考，被称之为“对抗样本” ，目前主要分为两个方向开展研究：一方面是站在攻击的角度，研究在测试数据样本中添加什么样的噪声能混淆机器的推理结果；另一方面是站在防御的角度，研究如何改善机器的认知能力，提升机器学习模型的鲁棒性。
综上是笔者从图像处理角度出发，认为当前和下一步机器学习的主流发展方向，目前NIPS、ICML、ICLR、三大CV等机器学习相关顶会也不乏出现了特定小领域的一些解决方案和实验，但笔者认为未来这几个方向的技术发展空间巨大，希望感兴趣的读者或从业人员可以朝这些方向投入精力，共同推动人工智能的发展和机器学习技术的进步。
（笔者对上述领域的最新研究略有了解，后续有时间的话可能会通过文本或***形式与大家分享，水平有限，不喜勿喷，感谢！）