如何优化 TensorFlow Lite 运行时内存?( 二 )


如何优化 TensorFlow Lite 运行时内存?文章插图
表 2
表 2:偏移量计算策略的内存占用(以 MB 为单位;最佳结果以绿色高亮显示) 。 前 3 行是我们的策略 , 接下来的 1 行是先前的研究工作 , 最后 2 行作为基线(下限表示可能无法实现的最佳数字的近似值 , 而 Naive 表示每个中间张量分配自己的内存缓冲区可能出现的最差数值)
这些针对 CPU 和 GPU 的内存优化 , 默认情况下已经与最近几个稳定的 TFLite 版本一起提供 , 并且在支持诸如 MobileBERT 等更高要求、最先进的模型方面证明了它们的价值 。 你可以通过直接查看 GPU 实现和 CPU 实现来找到有关实现的更多详细信息 。
原文链接:
延伸阅读:
跨越重重“障碍” , 我从 PyTorch 转换为了 TensorFlow Lite-InfoQ
【如何优化 TensorFlow Lite 运行时内存?】关注我并转发此篇文章 , 私信我“领取资料” , 即可免费获得InfoQ价值4999元迷你书 , 点击文末「了解更多」 , 即可移步InfoQ官网 , 获取最新资讯~