神经现实|大脑神经网络：不完美的“民主社会”( 四 )

McCulloch-Pitts 模型可以看作一种“鼓掌通过”式的民主，只要投赞成票的兴奋性神经元超过一定数量，就可以激发突触后神经元作出决定。同时，抑制性的神经元还具有“一票否决”权，只要它对刺激不满意，它就可以使下游的神经元不响应。在这种体制中，每个神经元唯一需要关心的变量就是投票通过的阈值。低阈值的神经元像是人群中极易被煽动的坏脾气，只要有少量神经元冲它发火，它也会跟着发火；而高阈值的神经元则木讷许多，需要大量神经元同时对它苦口婆心地劝说，它才会审慎地透出自己宝贵的一票。
这种民主制度虽然简单粗暴，但已经可以解决许多复杂问题。我们在后面会介绍到，低阈值的兴奋性McCulloch-Pitts神经元相当于逻辑电路中的“与门” ，高阈值的兴奋性McCulloch-Pitts神经元相当于逻辑电路中的“或门” ，而抑制性神经元的作用和“非门”类似。一个由McCulloch-Pitts神经元构成的网络，在某种程度上等价于一个逻辑电路。我们的视觉系统也可以从类似的角度被解释。

本文插图
McCulloch-Pitts是最简单的神经元模型，但它也缺失了许多重要的生物细节。其中最值得注意的一点是，在McCulloch-Pitts模型中，所有的兴奋性输入是被同等对待的。如果激活，则记为一票，每一票都同等重要。神经元的“身份”在这一民主机制中被完全革除了。而真正的生物神经元并非能做到如此绝对公平公正。神经元之间往往会形成不同强度的突触。这意味着突触后神经元会有意地更重视某些神经元的意见，而轻视另外一些。
将突触强度的差异性纳入考虑的神经元模型，叫做线性阈值神经元（Linear Threshold neurons）。和McCulloch-Pitts模型一样，它也遵循了民主最基本的一人一票原则，记活跃为 1 ，沉默为 0 ，只是有的突触在最终计票时会被赋予更高的权重。这一更像是《动物庄园》式的民主， “所有神经元生来平等，但有的神经元比其他神经元更平等” 。只有当来自所有突触的投票的加权和大于或等于预设的某个阈值θ ，突触后的神经元则被激活。

本文插图
线性阈值神经元的工作原理：兴奋性的突触拥有正权重，抑制性突触拥有负权重，投票结果由加权和决定。
此外，在线性阈值神经元模型中，抑制性神经元不再有一票否决权。相反它采取了一种更加公平的做法，兴奋性的突触拥有正权重，抑制性突触拥有负权重，只有当来自兴奋性突触的声音盖过了那些抑制性突触，并达到阈值，突触后神经元才会被激活。 McCulloch-Pitts模型可看作一种兴奋性突触权重均为1的线性阈值神经元。而要让抑制性神经元像在McCulloch-Pitts模型中那样可以“独裁” ，只需把抑制性突触的权重设为兴奋性突触总数的相反数。
无论是 McCulloch-Pitts 神经元还是线性阈值神经元，都只刻画了神经元活跃（1）与不活跃（0）两种状态。而生物神经元的放电速率是连续分级的。另外，在线性阈值神经元中，神经元的输入是电流强度（假设突触强度与神经元活动相乘得到电流），输出是放电速率，这意味着胞体在进行一种将输入电流转换为放电速率的计算。这种观点电生理学家也经常采用，他们通过频率-电流曲线来表征神经元，每个突触产生的电流与其突触强度以及突触前神经元的放电速率成正比。
今天深度学习技术中使用的神经元模型，其基本思路与线性阈值神经元非常相似。考虑到神经元放电速率是连续分级的，它们以实数作为神经元的输入输出以及突触权重。区别于McCulloch-Pitts或线性阈值神经元用一个阈值划分激活还是沉默，它们采用一些“激活函数”来得到连续且单调递增的输出。这就像每位选民可以更加细腻地表达自己的支持程度，比如投出赞同度为65%选票，而不是绝对的0或1 。而突触后神经元输出的支持率，则由它接受的支持率的加权总和决定。