新智元：Science子刊：人脑存在加速学习机制，算力赛过最新AI算法( 三 )

本文插图
动量μ和正则化α在区域[0 ， 1]中是常数，并且 0η0是一个常数。
我们优化了动量策略（等式2）的绩效（，， 0）（μ ， α ， η0）使用交叉熵代价函数（材料和方法）对有限的训练数据集进行了比较，并将其性能与以下两种由时间相关的η组成的实验启发式学习机制进行了比较。
论文中对加速度还有更详细的公式给出，篇幅所限，本文就不做更多介绍了。
结果：在线训练集由300个随机选择的示例组成：每个标签以随机顺序出现30次。经过300个学习步骤，加速方法的性能优于动量法超过25％，测试精度分别从约0.43提高到0.54 。

本文插图
对于给定数量的网络更新，结果表明，较小的示例集可产生更多信息。为了最大程度地提高在线场景（尤其是小型数据集）的测试准确性，平衡的示例集和平衡的时间训练顺序是重要的组成部分。
论文结论
基于连贯的连续梯度增加的η ，针对小组的训练示例，脑启发式的加速学习机制优于现有的通用ML策略。在各种成本函数上运行（例如平方成本函数）均会出现一致的结果，但是性能会相对下降（见下图）。

本文插图
因为给定数据集的最大性能取决于所选的加速方法（见下图），在培训过程中调整学习方法可以提高绩效。

本文插图
但是，除了可能的用于更新η的高级非线性函数外，在网络更新次数高的情况下，加速方法的最终调度和使性能最大化的受训实例的排序也值得进一步研究。
实验神经科学和ML的桥梁有望进一步推进利用有限的数据库进行决策，这是许多方面的现实：人类活动、机器人控制和网络优化。
本文研究机构
巴伊兰大学缩写BIU ，建立于1955年，位于以色列拉马特甘，是一所公立大学，也是目前以色列规模第二大的学术研究机构。

本文插图
参考链接：
研究人员重建了神经科学与人工智能之间的桥梁：
https://techxplore.com/news/2020-04-rebuild-bridge-neuroscience-artificial-intelligence.html
【新智元：Science子刊：人脑存在加速学习机制，算力赛过最新AI算法】论文参见：《科学报告》：脑实验暗示适应机制优于通用AI学习算法