中科院自动化所余山对大脑的未知，并不阻碍借鉴大脑，成就智能( 四 )

3）当采用OWM方法，任务顺序训练时，结合经过预训练的特征提取器，准确率能够达到75.24% ，性能媲美于SGD的混合训练。

本文插图
余山等人同样在手写字数据集HWDB上进行了测试，包含3755个类，特征提取器选用ResNet18 ，同样可以看到，采用OWM顺序训练分类器依然能够保持较高的性能。
值得一提的是，算法具有优良的小样本学习能力，以手写体汉字识别为例，基于预训练的特征提取器，系统可以从仅仅数个正样本中就能连续的学习新的汉字。上图中显示在3755个类（汉字）上，仅需要在10个类上进行连续学习，便能够达到90%以上的性能。
OWM算法有效地克服了灾难性遗忘的难题，使得单个神经网络不仅可以先学「狗」再学「猫」，而且可以逐渐的学习多达数千个类型的识别。这一新型学习算法和前面介绍的情境依赖处理 (CDP) 模块配合，能够使人工神经网络具备强大的连续学习和情境依赖学习能力。
其中， OWM 算法可以有效克服神经网络中的灾难性遗忘，实现连续学习；而受大脑前额叶皮层启发的 CDP 模块可以有效整合情境信息，调制神经网络的信息处理过程。二者结合便有望让智能体通过连续不断的学习去适应复杂多变的环境，从而逐步逼近更高水平的智能。
先验知识、语义理解和记忆
除了上面四个层次的借鉴之外，余山老师还介绍了如何将先验知识压缩并注入神经网络、从符号计算到语义理解、从有监督的分类训练到无监督的重构和预测等类脑计算的思路。如何将先验知识压缩并注入神经网络。
认知学家曾经做过一个实验，即从小教一个黑猩猩学习语言，发现黑猩猩在语言学习上远远不能达到人类的高度。这说明我们人类大脑有先天的神经结构能够让我们容易学习语言，这种先天结构即为先验知识。作为对比，当前的神经网络基本上没有先验知识，都得从头学起。
那么我们是否可以借鉴大脑积累先验知识的机制，来设计人工神经网络呢？从符号计算到语义理解。目前的自然语言处理系统训练的材料是语料，纯粹是文字或符号。
以中文屋(Chinese Room)实验为例，里面纯粹是做一些非常简单的信息处理工作，只是一个符号到符号的处理过程，并没有真正理解内在的含义。因此NLP的研究，若想克服这个问题，未来必然需要向大脑学习。有监督的分类训练到无监督的重构和预测。
结语

本文插图
余山研究员总结道，虽然我们对于大脑的了解尚不完备，生物脑和人工神经网络的结构也有很大的差异，但是这并不是开展类脑计算研究的本质障碍。
神经科学和认知科学的研究已经发现了大脑的很多机制性原理，这些知识足够指导我们不断改善智能系统的设计，最终有望实现在不同层面上受脑启发的更加强大和高效的人工智能系统。
【中科院自动化所余山对大脑的未知，并不阻碍借鉴大脑，成就智能】（雷锋网）、（雷锋网）、（雷锋网）