更大的模型并不总是更好的模型，微型机器学习将是未来的方向

在NASA的推动下,电子产品的小型化成为一个完整的消费品行业。现在我们可以把贝多芬的全部作品放在翻领针上用耳机听。
-- 天体物理学家兼科学评论员尼尔·德格拉斯·泰森（ Neil deGrasse Tyson）
超低功耗嵌入式设备的普遍存在，再加上诸如针对微控制器的TensorFlow Lite的嵌入式机器学习框架的引入，将使AI驱动的IoT设备大规模普及。
【更大的模型并不总是更好的模型，微型机器学习将是未来的方向】 -- 哈佛大学副教授Vijay Janapa Reddi

本文插图
嵌入式设备的微型机器学习（TinyML）
本文的目的是向读者介绍小型机器学习的概念及其未来潜力。在本系列的后续文章中，将对特定的应用程序，实现和教程进行深入讨论。
介绍
在过去的十年中，我们见证了由于处理器速度的提高和大数据的出现，机器学习算法的规模呈指数增长。最初，模型足够小，可以使用中央处理器（CPU）中的一个或多个内核在本地计算机上运行。
此后不久，由于引入了基于云的服务（例如SaaS平台（例如Google Colaboratory）和IaaS（例如Amazon EC2实例）），使用图形处理单元（GPU）的计算对于处理更大的数据集变得十分必要，并且变得更加容易获得。此时，算法仍可以在单台计算机上运行。
最近，我们已经看到了专用的专用集成电路（ASIC）张量处理单元（TPU）的开发，该模块可以封装约8个GPU的功能。这些设备已经增强了在多个系统之间分布学习的能力，以尝试发展越来越大的模型。
最近，随着GPT-3算法的发布（2020年5月发布）而达到了顶峰，该算法的网络体系结构包含了惊人的1750亿个神经元，是人脑中神经元数量的两倍（约850亿）。这是有史以来创建的第二大神经网络Turing-NLG（于2020年2月发布，包含约175亿个参数）的神经元数量的10倍以上。一些估计称，该模型的培训成本约为1000万美元，并使用了约3 GWh的电力（大约三个小时的一小时核电站的输出）。
尽管GPT-3和Turing-NLG的成就值得称赞，但自然而然地，这引起了业内一些人士对AI行业日益增长的碳足迹的批评。但是，它也有助于激发AI界对更节能计算的兴趣。这样的想法，例如更高效的算法，数据表示和计算，一直是看似无关的领域的关注重点：微型机器学习。
微型机器学习（tinyML）是机器学习与嵌入式物联网（IoT）设备的交叉点。该领域是一门新兴的工程学科，具有革新许多行业的潜力。
tinyML的主要行业受益者是边缘计算和节能计算。 TinyML源自物联网（IoT）的概念。物联网的传统思想是将数据从本地设备发送到云进行处理。一些人对此概念提出了某些担忧：隐私、延迟、存储和能源效率等等。
能源效率。（通过有线或无线方式）传输数据非常耗能，比机载计算（具体而言，乘累加单位）要高大约一个数量级。开发可以执行自己的数据处理的物联网系统是最节能的方法。人工智能的先驱们已经讨论了''以数据为中心''的计算思想（与云模型的''以计算为中心''相对），现在我们开始看到它正在发挥作用。
隐私。传输数据可能会侵犯隐私。此类数据可能被恶意行为者拦截，并且当存储在单个位置（例如云）中时，其固有的安全性降低。通过将数据主要保留在设备上并最大程度地减少通信，这可以提高安全性和隐私性。
存储。对于许多物联网设备而言，它们获取的数据毫无用处。想象一下一个安全摄像机每天24小时记录着建筑物的入口。在一天的大部分时间里，相机镜头没有任何用处，因为什么也没发生。通过拥有仅在必要时才激活的更智能的系统，就需要较低的存储容量，并减少了传输到云所需的数据量。