新智元：Science子刊：人脑存在加速学习机制，算力赛过最新AI算法( 二 )

研究过程
1.实验结果表明，适应率随训练频率的增加而增加。
在这项研究中，研究人员将神经元培养种植在添加了突触阻滞剂的多电极阵列上，这种突触阻滞剂可通过其树突细胞在细胞外刺激这个被膜片钳夹住的神经元。

本文插图
通过神经元树突在细胞内刺激被研究的神经元，并为每种刺激路径生成不同的尖峰波形。更详尽解释请参阅论文原文“材料和方法”部分。
适应过程包括一个训练集：50对刺激。通过进一步测试神经元刺激的响应时间和强度是否正常，我们量化了神经元适应的效果，确定下来了应该以怎样的细胞外刺激幅度来进行研究。

本文插图
神经元的正常延迟时间：1-4毫秒

本文插图
为了量化初始反应，降低细胞外刺激幅度，直到未观察到可靠的诱发峰。
2.加速基于生物学启发机制的有监督的可实现学习规则。
与生物学机制的暗示相符合，随着训练频率的增加，适应过程将大大加速，

本文插图
这可能意味着随时间变化的递减适应步长（等式1）：

本文插图
当前的适应步骤 + 1 d，等于权重递减的前一个，代表离散时间步长， 0是一个常数， 1 /τ代表训练频率，而Δ是一个常数，代表当前训练步骤的增量效果。
使用可实现规则和二进制分类的有监督在线学习，研究了两种情况：突触适应和树突适应：

本文插图
我们首先检查了时间依赖的适应步骤（等式1）对加速生物学学习过程的影响。 Teacher给student提供了异步输入和二进制输出关系，它们都具有最简单的分类器感知器的相同架构，输出节点由泄漏的集成并发射神经元。
结果清楚地表明，泛化误差， ε g的实验启发式的时间相关η（等式1）基本上胜过固定η情景（上图）。这种加速的学习源于以下事实：突触学习中的权重收敛到极限，权重消失或超过阈值。
3. 使用在神经网络上测试的 MNIST数据库，在无法实现的规则的有监督学习中检查了实验启发式的时间相关学习步骤机制。
这个数据库包含大量手写数字示例（如下图），通常用作原型问题，用于量化针对各种图像处理任务的机器学习算法的泛化性能。

本文插图
在这项研究中，我们使用MNIST数据库的一小部分，没有任何数据扩展方法。常用的训练网络由784个输入（代表一个数字28×28像素），一个隐藏层（本研究中为30个单位）和十个代表标签的输出（如上图）组成。常用的学习方法是反向传播策略：

本文插图
其中将步长上的权重朝着成本函数的梯度负号C的步长η进行修改。一种改进的方法是动量策略和权重的正则化（上图为等式2）：

本文插图