趋势|谷歌大神 Jeff Dean 领衔，万字展望五大AI趋势( 三 )

ML加速器性能的持续改进：
每一代ML加速器都在前几代的基础上进行了改进，使每个芯片的性能更快，并且通常会增加整个系统的规模。其中，拥有大量芯片的 pods，这些芯片通过高速网络连接在一起，可以提高大型模型的效率。
当然，移动设备上的 ML 能力也在显著增加。Pixel 6 手机配备了全新的谷歌张量处理器（Google Tensor processor），集成了强大的ML加速器，以更好地支持重要的设备上功能。
我们使用 ML 来加速各种计算机芯片的设计（下面将详细介绍），这也带来了好处，特别是在生产更好的 ML 加速器方面。

文章插图
持续改进的 ML 编译和 ML 工作负载的优化：
即使在硬件没有变化的情况下，对于 ML 加速器的编译器和系统软件的其他优化也可以显著提高效率。例如，“自动调优多通道机器学习编译器的灵活方法”展示了如何使用 ML 来执行编译设置的自动调优，从而在相同的底层硬件上为一套 ML 程序实现 5-15%（有时高达 2.4 倍的改进）的全面性能改进。GSPMD 描述了一个基于 XLA 编译器的自动并行化系统，该系统能够扩展大多数深度学习网络架构，超出加速器的内存容量，并已应用于许多大型模型，如 GShard-M4、LaMDA、BigSSL、ViT、MetNet-2 和 GLaM 等等，在多个领域上带来了最先进的结果。

文章插图
图丨在 150 ML 模型上使用基于 ML 的编译器自动调优，可以加快端到端模型的速度。包括实现 5% 或更多改进比例的模型。条形颜色代表了优化不同模型组件的相对改进程度。
人类创造力驱动的更高效模型架构的发现：
模型体系结构的不断改进，大大减少了许多问题达到给定精度水平所需的计算量。例如，我们在 2017 年开发的 Transformer 结构，能够在几个 NLP 任务和翻译基准上提高技术水平。与此同时，可以使用比各种其他流行方法少 10 倍甚至百倍的计算来实现这些结果，例如作为 LSTMs 和其他循环架构。类似地，视觉 Transformer 能够在许多不同的图像分类任务中显示出改进的最新结果，尽管使用的计算量比卷积神经网络少 4 到 10 倍。
更高效模型架构的机器驱动发现：
神经体系结构搜索（NAS, Neural Architecture Search）可以自动发现对于给定的问题域更有效、新颖的 ML 体系结构。NAS 的主要优势是，它可以大大减少算法开发所需的工作量，因为 NAS 在每个搜索空间和问题域组合中只需要一次性的工作。此外，虽然最初执行 NAS 的工作可能在计算上很昂贵，但由此产生的模型可以大大减少下游研究和生产环境中的计算，从而大大减少整体资源需求。例如，为了发现演化 Transformer（Evolved Transformer）而进行的一次性搜索只产生了 3.2 吨的 CO2e，但是生成了一个供 NLP 社区中的任何人使用的模型，该模型比普通的 Transformer 模型的效率高 15-20%。最近对 NAS 的使用发现了一种更高效的体系结构 Primer（开源），与普通的 Transformer 模型相比，它降低了4倍的训练成本。通过这种方式，NAS 搜索的发现成本通常可以通过使用发现的更高效的模型体系结构得到补偿，即使它们只应用于少数下游任务。

文章插图
图丨与普通的 Transformer 模型相比，NAS 发现的 Primer 架构的效率是前者的4倍。这幅图（红色部分）显示了 Primer 的两个主要改进：深度卷积增加了注意力的多头投影和 squared ReLU 的激活（蓝色部分表示原始 Transformer）。
NAS 还被用于发现视觉领域中更有效的模型。EfficientNetV2 模型体系结构是神经体系结构搜索的结果，该搜索联合优化了模型精度、模型大小和训练速度。在 ImageNet 基准测试中，EfficientNetV2 提高了 5 到 11 倍的训练速度，同时大大减少了先前最先进模型的尺寸。CoAtNet 模型架构是通过一个架构搜索创建的，该架构搜索采用了视觉 Transformer 和卷积网络的想法，以创建一个混合模型架构，其训练速度比视觉 Transformer 快 4 倍，并取得了新的 ImageNet 技术水平。

文章插图
图丨与之前的 ImageNet 分类模型相比，EfficientNetV2 获得了更好的训练效率。
搜索的广泛应用有助于改进 ML 模型体系结构和算法，包括强化学习（RL，Reinforcement Learning）和进化技术（evolutionary techniques）的使用，激励了其他研究人员将这种方法应用到不同的领域。为了帮助其他人创建他们自己的模型搜索，我们有一个开源的模型搜索平台，可以帮助他们探索发现其感兴趣的领域的模型搜索。除了模型架构之外，自动搜索还可以用于发现新的、更有效的强化学习算法，这是在早期 AutoML-Zero 工作的基础上进行的，该工作演示了自动化监督学习算法发现的方法。