神经现实|大脑神经网络：不完美的“民主社会”( 六 )

本文插图
如果不考虑抑制性输入，高阈值的 McCulloch-Pitts 神经元相当于执行逻辑合取操作，当且仅当所有输入都为 1 时，输出为 1 ，否则输出为 0；低阈值的 McCulloch-Pitts 神经元相当于执行逻辑析取操作，当且仅当所有输入都为 0 时，输出为 0 ，否则输出为 1 。不同阈值的 McCulloch-Pitts 神经元，可以用来解释视觉皮层中“简单细胞”和“复杂细胞”的行为。 Hubel-Wiesel 模型通过组合高阈值的“简单细胞”和低阈值的“复杂细胞” ，实现了视觉系统的方向选择性和位置不变性。
—
图片来源于参考文献[1] ，有修改
Hubel-Wiesel 的视觉模型，可以看成是一种神经元民主的层级结构。在视觉系统里有好脾气的“简单公民”和坏脾气的“复杂公民” 。好脾气的“简单公民”需要从更基层的LGN神经元听取投诉意见。只有当大量向它汇报的神经元发表了意见，才会引发它的怒火并投出一票。而“复杂公民”则从“简单公民”那儿收集信息。只要有“简单公民”投票支持，它就无法抑制自己投票的冲动。 “简单公民”对意见进行筛选， “复杂公民”对意见进行整合。这种层级化的组合使得神经系统可以实现复杂的特征抽取以及更高级的认知功能。
受Hubel-Wiesel模型的启发，日本计算机科学家福岛邦彦（Kunihiko Fukushima）于1980年设计了一个可以自动识别手写数字的人工神经网络Neocognitron 。手写数字可能不像自然图片（例如人类或动物）那样复杂，但是要识别这些数字仍然极具挑战。由不同人手写的数字通常看起来会非常不同，甚至一个人重复写几次相同的数字也可能有很大的差异。 Neocognitron把交替的“简单细胞”和“复杂细胞”作为网络设计的基本结构，来捕捉不同数字之间的特征差异以及相同数字共享的不变特征。
最经典卷积神经网络 — LeNet-5的结构。该神经网络可以用于手写体数字识别，输入为28x28像素的图片，输出的10个神经元分别代表数字0-9中的一类。卷积层的神经元类似于 Hubel-Wiesel 模型中的“简单细胞” ，用于实现视觉过程的选择性，池化层中的神经元类似 Hubel-Wiesel 模型中的“复杂细胞” ，用于实现视觉过程的不变性。简单细胞和复杂细胞交替的层级结构，帮助神经网络提取关于视觉输入的高级特征。
另一个借鉴了V1中“简单细胞”和“复杂细胞”层级结构例子，就是卷积神经网络的鼻祖LeNet 。这一著名的神经网络由图灵奖得主杨立昆（Yann LeCun）于1989年在贝尔实验室设计。卷积神经网络包含交替的卷积层（convolution layer）和池化层（pooling layer）。卷积层中神经元类似于“简单细胞” ，通过对输入的卷积操作，实现视觉过程的选择性，池化层中的神经元则类似“复杂细胞” ，将卷积层空间上临近的输出，通过取平均或者取极大值整合为一个神经活动，用于实现视觉过程的不变性。交替的卷积层和池化层，几乎是今天所有用于计算机视觉的深度神经网络的基础模块。
异或问题：神经元民主的逻辑困境
用于单个神经元的民主规则是简单的， McCulloch-Pitts神经元是鼓掌通过式的民主，激活与否取决于活跃的兴奋性突触的多寡；线性阈值神经元是乔治·奥威尔式的民主，有的突触比其他突触享有更大权重。虽然单个神经元的作用很简单，但是神经网络的功能可以很复杂。比如在具有层级结构的神经网络中，神经元之间分布并行的民主互动可以还原大脑视觉初级皮层的信息处理过程。
这种复杂性从简单规则中涌现的奇妙现象，和康威的生命游戏（Conway's game of life），沃夫勒姆的110号规则（Wolfram's rule 110）有着异曲同工之妙，今天已经广为人知，并成为联结主义人工智能的中心思想。但是在神经网络还是新生事物的上世纪60年代，它的普适性接受了一场严酷的考验。这场考验直接将人们对单层神经网络研究推向终结，导致了神经网络的第一次寒冬。