算法|焦李成院士：进化优化与深度学习的思考计划|芯片|领先地位|制造|美国

文章插图

作者丨焦李成

整理丨维克多?

编辑丨青暮
2021年12月17日，西安电子科技大学人工智能学院教授、欧洲科学院外籍院士、IEEE Fellow焦李成受邀参加2021中国计算机大会“下一代演化计算发展趋势”论坛，并做了“进化优化与深度学习的思考”的主旨报告。
在报告中焦李成梳理了“进化”相关的发展渊源与思想起源，指出了当前人工智能的学术缺陷与实际困境，并从类脑的角度给出了解决路径：
“神经网络不应该是目前的意义上进行权重调参，它的结构应该具备变化性、可塑性、学习性和动态性；在类脑感知的过程中，脑的奖惩、学习、信息表征机制，以及突触的学习记忆、再生长和发育的机制对于信息的重建及编码和处理具有重要的作用。上述特性是现有深度网络所没有重视的。”
以下是报告全文，AI科技评论做了有删改的整理：
今天的演讲主要分为五个部分：发展渊源与思想起源、进化优化与学习、类脑表征学习与优化、进化优化与深度表征学习，以及思考与挑战。
人工智能几十年来得到了长足的发展，而进化优化和类脑启发的深度学习是现在人工智能技术的核心，其关键是：用脑处理知识和自然演化思想发展人工智能技术。这两个思想的发展可以通过历年颁发的科学奖项窥得一二。

文章插图

例如通过梳理脑科学诺贝尔奖可以明晰“人类如何思考”，回顾图灵奖可以讨论“机器如何进行学习和推理”，了解历年生物相关的诺贝尔奖，可以在“生物如何选择优化”方面给我们启示。那么这些工作对现在的人工智能技术发展有什么启示？
其实，目前学者用人工智能解决实际问题可以分为以下几个步骤：机器学习推导符号 =>深度学习=>深度强化学习（感知+决策）=>深度迁移学习（环境适应）=>深度元学习（自动学习）。对于这一步骤路径，徐宗本院士曾经有一段关于机器自动学习的描述：

“机器学习自动化：首先在数据层面上，数据样本需要实现自生成、自选择；其次在模型算法层面上，模型算法需要实现自构建、自设计；最后在环境任务层面上，环境任务要实现自适应、自转换。人工智能的发展轨迹应该是从人工走向自动化，再迈向自主智能。”

从这段话也可以看出，这几个步骤环环相扣，一层比一层有难度，那么我们应该如何更加有效的优化这条路径？

进化优化思想起源

进化优化的思想起源很早，达尔文提出的全局优化以及拉马克、班德温提出的局部学习奠基了如今进化算法的学术思想。在进化学习语境下，我们希望无组织机器通过进化、学习、反馈的路径找到通用的机器学习方法。
1948年，图灵在《智能机》报告中也指出从婴儿到成人，人类大脑皮层可以看做从无组织机器进化为通用机器。在这之后，进化优化发展出了四大基本分支：

进化编程：1960年，L.J.Fogel提出将模拟进化作为一个学习过程以生成广泛的人工智能机器，其强调自然进化中群体级行为变化。
【 算法|焦李成院士：进化优化与深度学习的思考】进化策略：1964年，德国柏林工业大学的两位学生 L.Rechenberg与H. Schwefel借鉴生物的变异和选择提出了进化策略。
遗传算法：1975年，J.H.Holland借鉴了C.R.Darwin的生物进化论与G.J.Mendels的遗传定律提出了遗传算法。
遗传编程：1980年，S.F.Smith提出了基于遗传自适应算法的学习系统，J.R.Koza撰写了《遗传编程：用自然选择让计算机编程》。

根据进化计算思想，科学家们又设计了它的动力学过程：群体智能，它可以由混沌状态出发，通过价值启发信息探索规律、模式和知识，最终得到解。它的过程是通过动力学的演化过程，以概率1收敛到全局最优解，特点表现为随机、非线性、遍历、自组织性、适应性、多样性、稳定性和高度并行性。

文章插图

如上图所示，群体智能的思想起源很早，其代表性的方法包括蚁群优化、粒子群优化、免疫算法、萤火虫算法等等。利用进化优化求解复杂问题，主要是利用它的并行性、奇异性、易修改性、高度的非线性以及广泛的应用性等特点，从而匹配NP难问题和组合爆炸问题。