算法|焦李成院士：进化优化与深度学习的思考( 四 ) 计划|芯片|领先地位|制造|美国

并行计算：可以通过大规模并行计算来提高计算速度。

2021年的最新工作中，加拿大渥太华以及麦吉尔大学的研究人员表明：使用突发规则构建的深度神经网络具有良好性能，为进化神经网络架构搜索供了更加坚实的理论基础。换句话说，机器正在进行的学习方式可以通过生理过程来逼近。
神经网络权值优化也经过了多年的发展。80年代提出的权重优化相关工作包含动力学过程；而目前神经网络的进化优化，主要局限于权值的优化和超参的优化。这是组合爆炸问题，使得优化过程收敛速度慢、计算时间长、复杂度高，而难以使用。因此，梯度优化算法容易受到局部最优的影响，而进化算法在存在鞍点的情况下表现非常好。
当前超参数选取大多依靠堆叠GPU，这只能缓解计算量问题，但从机理上而言，需要找到自动学习的方法。超参数优化的问题在于：非线性、非凸、组合优化、混合优化、试错成本高、组合爆炸。经过几十年的发展，这些问题仍然没有解决。
同样有几十年研究底蕴的领域还有元学习，它需解决的基本问题是：元知识的表征、元学习器以及元目标。现在已经有一系列的办法解决可解释性和鲁棒性，但远远不够，因为对泛化性能的提高、对可解释性的追求、对进化全局最优解的追求永远在路上。

总结

因此我们需要通过自然智能（包括类脑智能学习和优化）来达成这些目标。在进化的路上，我们需要做到“耳聪目明”，例如表征的紧促、正交、准确，学习的明确，解释的清楚。以雷达研究为例，从最早的看得见，到测得准，再到观得清，最后到辨得明，这恰恰印证了人工智能（包括进化计算和深度学习）的发展特点。
ABC，也就是人工智能（AI）、生物智能（BI）、计算智能（CI）有无限光明。希望我们共同牢记初心、不负使命、砥砺前行，认认真真、扎扎实实做学问。