|更大的模型并不总是更好的模型，微型机器学习将是未来的方向( 五 )

话虽如此，神经网络已经使用16位和8位浮点数进行了训练。
Suyog Gupta及其同事在2015年发表的第一篇有关降低深度学习中的数值精度的论文是'''' 。本文的结果很有趣，表明32位浮点表示形式可以减少为16位定点表示形式，而精度几乎没有降低。但是，这是使用的唯一情况，因为平均而言，它会产生无偏结果。
在2018年， Naigang Wang及其同事在其论文''使用8位浮点数''中使用8位浮点数训练了神经网络。由于需要在反向传播期间保持梯度计算的保真度（在使用自动微分时能够实现机器精度），因此使用8位数字而不是推理来训练神经网络要实现的挑战明显更大。
计算效率如何？
还可以对模型进行定制，以使它们的计算效率更高。在移动设备（例如MobileNetV1和MobileNetV2）上广泛部署的模型体系结构就是很好的例子。这些本质上是卷积神经网络，已经重塑了卷积运算以使其具有更高的计算效率。这种更有效的卷积形式称为深度可分离卷积。还可以使用和来针对延迟优化。
下一次AI革命
在资源受限的设备上运行机器学习模型的能力为许多新的可能性打开了大门。发展可能有助于使标准机器学习更加节能，这将有助于消除对数据科学对环境影响的担忧。此外， tinyML允许嵌入式设备具有基于数据驱动算法的新智能，该智能可用于从预防性维护到检测森林中的鸟声的任何事物。
尽管某些机器学习从业者无疑将继续扩大模型的规模，但一种新的趋势正在朝着内存，计算和能源效率更高的机器学习算法发展。 TinyML仍处于起步阶段，有关该主题的专家很少。这个空间正在快速增长，并将在未来几年内成为人工智能在工业中的新的重要应用。