神经现实|大脑神经网络:不完美的“民主社会”( 三 )


两条原则——经验就是动作电位的模式 , 学习就是突触连接的改变——使得通过模拟神经网络来实现认知功能的联结主义人工智能变得充满希望 。 计算机科学家与神经科学家们相信 , 无论多复杂的功能 , 都可以从庞大的神经网络中涌现 , 只要找到了对的突触连接方式 。 深度学习技术成功的关键 , 就是运用第二条原则来找到执行特定功能的神经网络 。 虽然今天计算机科学家们使用的更新突触连接的算法 , 和神经科学家普遍发现的赫布法则非常不同 。
关于第二条原则的讨论我们可能需要另一篇文章来展开 。 而今天这篇文章会试图向你证明 , 单单第一条原则可能已经足够有趣 。 作为经验载体的动作电位是如何在神经网络中计算与传播的?网络中的一个神经元常常从与之相连的一众神经元接听信息 , 这些吵闹的神经元常常有着非常不同的神经活动和突触电位 , 神经元是如何整合这些不同意见的?
一人一票制:民主决策的基石
神经元的动作电位和突触电位是时刻变化的 , 它们涉及到膜电压和离子通道开闭之间的复杂相互作用 。 为了建模每个神经元的行为 , 理论神经科学家有时会忽略其中的这些复杂性 。 一种非常流行的简化是 , 当同时激活的兴奋性突触数量足够时 , 神经元就会激发动作电位 。 这一简化是合理的 , 因为单个兴奋性突触后电位(excitatory postsynaptic potential)通常比激发动作电位所需的电压差小很多 。 因此 , 突触后神经元的胞体需要对同时激活的那些兴奋性突触后电位求和 , 使得其总电压有可能超过激发阈值 。
1943年 , 沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)为这种对动作电位求和的神经元建立了数学模型 。 McCulloch-Pitts神经元同时接受多个输入并产生单个输出(但可能发送给多个神经元) 。 神经元输入和输出都用二元变量0或1表示 , 0为沉默 , 1为活跃 。 每个神经元都有一个阈值参数θ , 表示激发神经元所需的最小兴奋性突触数量 。 如果在某一时刻的输入总和大于或等于θ , 则神经元的输出为1;否则输出为0 。 我们可以连接多个这样的McCulloch-Pitts神经元 , 使得一个神经元的输出就是另一个神经元的输入 。 这一简单的数学过程也有对应的生物解释:突触前神经元的放电可以激活另一个神经元上的突触后电位 。 把许许多多这样的McCulloch-Pitts神经元连接在一起 , 我们就构建了一个神经网络 。
比上述的0和1稍稍复杂一些 , 最初的McCulloch-Pitts神经元同时考虑了兴奋性和抑制性突触的存在 。 类似一套民主投票规则 , 兴奋性突触的1记一张赞成票 , 抑制性突触的1记一张反对票 , 0为弃权票 。 所有突触前的神经元都可以表达它们意见 , 突触后神经元汇总这些意见再进行决策 。
神经现实|大脑神经网络:不完美的“民主社会”
本文插图
McCulloch-Pitts神经元的工作原理:兴奋性突触一人一票 , 抑制性突触一票否决 。
如果突触后的神经元是兴奋性的 , 那么它属于神经网络中那一类持有乐观立场投票者 , 只会投赞成或者弃权票;相反如果突触后的神经元是抑制性的 , 那么它属于悲观的且特立独行的投票者 , 只会投反对票或者弃权票 。 这一限制遵循了神经科学中称为戴尔法则(Dale‘s principle)的规律 , 一个神经元只会向其他的神经元分泌相同的神经递质 , 从而形成要么兴奋性要么抑制性的突触 。 虽然今天神经学家已经发现了许多戴尔法则的反例 , 但是在大部分情况下 , 这一规律还是有普遍性的 。
在McCulloch-Pitts模型中 , 对于兴奋性的神经元 , 如果它收到的来自其他神经元的“赞成票”(激活的兴奋性突触)数量达到某个阈值 , 比如超过半数 , 并且没有神经元向它投“反对票” , 它就会向与之相连的其他神经元投“赞成票”(1) , 否则弃权(0);对于抑制性的神经元 , 如果它收到的来自其他神经元的“赞成票”(激活的兴奋性突触)数量达到某个阈值 , 并且没有神经元向它投“反对票” , 它就会向与之相连的其他神经元“反对票”(1) , 否则弃权(0) 。 如果一个神经元收到了“反对票”(有抑制性突触被激活) , 那么无论神经元本身是兴奋性还是抑制性 , 都会投弃权票(0) 。