更大的模型并不总是更好的模型，微型机器学习将是未来的方向( 三 )

即使是带电池的设备，电池寿命也有限，因此需要频繁对接。许多消费类设备的设计使电池可持续使用一个工作日。 TinyML设备可以使用硬币大小的电池继续运行一年，这意味着它们可以放置在偏远的环境中，仅在必要时进行通信以节省能源。
唤醒词并不是我们看到的无缝嵌入在智能手机中的唯一TinyML 。加速度计数据用于确定是否有人刚拿起电话，这会唤醒CPU并打开屏幕。
显然，这些并不是TinyML的唯一可能应用。实际上， TinyML为企业和业余爱好者提供了许多令人兴奋的机会，以生产更智能的IoT设备。在当今世界，数据变得越来越重要的情况下，将机器学习资源分配到偏远地区受内存限制的设备的能力可能会给农业，天气预报或地震等数据密集型行业带来巨大好处。
毫无疑问，赋予边缘设备执行数据驱动的处理能力的能力将为工业过程带来范式转变。举例来说，能够监测农作物并在检测到诸如土壤湿度，特定气体（例如苹果成熟时会散发出乙烷）等特征或特定大气条件（例如大风，低温或高湿度），将大大促进作物生长并因此提高作物产量。
作为另一个示例，智能门铃可能装有摄像头，该摄像头可以使用面部识别来确定谁在场。这可以用于安全目的，甚至可以用于当有人在场时将门铃的摄像头馈送到房屋中的电视，以便居民知道谁在门口。
目前， tinyML的两个主要重点领域是：
关键字发现。大多数人已经熟悉此应用程序。 '' Hey Siri''和'' Hey Google''是关键字的示例（通常与'' hotword''或'' wake word''同义使用）。这样的设备连续收听来自麦克风的音频输入，并且被训练为仅响应特定的声音序列，这些特定的声音序列与学习的关键字相对应。这些设备比自动语音识别（ASR）应用程序更简单，并且相应地使用了更少的资源。某些设备（例如Google智能手机）利用来提供扬声器验证以确保安全性。
视觉唤醒词。唤醒词有一个基于图像的类似物，称为视觉唤醒词。将它们视为图像的二进制分类，以表示存在或不存在。例如，可以设计智能照明系统，使得其在检测到人的存在时启动，并在他们离开时关闭。同样，当存在特定的动物时，野生动物摄影师可以使用它来拍照，而当他们发现有人时，可以使用安全摄像机拍摄照片。
下面显示了TinyML当前机器学习用例的更广泛概述。

本文插图
TinyML的机器学习用例
TinyML如何工作
TinyML算法的工作方式与传统机器学习模型几乎相同。通常，通常在用户计算机或云中对模型进行训练。后期训练是真正的tinyML工作开始的地方，在此过程中通常称为深度压缩。

本文插图
深度学习模型压缩流程图
模型蒸馏
训练后，然后以创建具有更紧凑表示形式的模型的方式更改模型。修剪和知识蒸馏是用于此目的的两种此类技术。
知识提炼的基础思想是，较大的网络内部具有稀疏性或冗余性。虽然大型网络具有较高的表示能力，但如果网络容量未达到饱和，则可以在具有较低表示能力的较小网络（即较少的神经元）中进行表示。 Hinton等， 2015将教师模型中嵌入的信息称为''黑暗知识'' ，转移给学生模型。
下图说明了知识提炼的过程。

本文插图
深度压缩过程图。在此图中， ''老师''是经过训练的卷积神经网络模型。教师的任务是将其''知识''转移到参数较少的较小卷积网络模型中，即''学生'' 。此过程称为知识提取，用于将相同的知识包含在较小的网络中，从而提供了一种压缩网络的方式，以便可以将其用于更多受内存限制的设备上。