【华为计算】HDC.Cloud|张迪煊：基于Atlas人工智能计算平台的全场景开发实践( 二 )

本文插图
张迪煊分享华为Atlas人工智能计算平台的云边端全场景开发实践
张迪煊
接下来我给大家介绍基于Atlas的性能优化流程，这个过程主要包含了瓶颈分析，模型算子优化，内存优化、硬件编解码，流程编排。其中模型算子优化和流程编排是最关注的。
在AI开发者赖长铃的演示当中，大家可以看到，这已经实现了40路的高清视频，请问长铃，我们有没有进一步的提升空间呢？
赖长铃
有的，我们试试增加视频路数。可以看到我们从40路提升到了48路，为了评估性能，我们放大第一路视频。从画面左边小火车的运动情况可以看出，视频出现了卡顿的现象，这是达不到实时处理要求的，要解决这个性能问题地我们需要从计算瓶颈， I/O瓶颈和内存瓶颈角度进行调优，这里从模型算子优化角度，演示计算瓶颈的方法，经过分析要实时处理48路视频路，应控制在13毫秒以内，而根据demo前后处理采样，推理耗时达到15毫秒，为了优化模型，这里可以使用集成开发环境的性能分析工具。
这里重点关注离线模型OME的算子统计结果。可以看到模型推理时算子的耗时，我们对算子耗时进行一个排序。这里可以看到Mul算子，乘以归一化系数是0.0039 ，昇腾AI处理器，提供了预处理单元AIPP ，进一步提升模型推理效率，怎么在模型中添加AIPP呢？我们这里可以使用MindStudio的工具。输入模型将处理的大小4batch ，关闭量化，选择模型的输入，关闭减均值。设置归一化因子。点击完成。可以看到模型转化已经成功了，我们将模型合入优化的工程看一下。
张迪煊
从运行效果上看，视频流畅无卡顿，我们完成了48路的实时检测。
我们可以看到优化前后的对比结果，左边是优化前的40路的高清视频实时分析右边是48个高清实时分析， 40路已经优于业界同类产品了，我们键盘一抖、性能提升立马有，请线上的开发者朋友们，把掌声送给长铃。
计算无处不在，边缘计算已经开始兴起，接下来我给大家分享的是边缘侧的应用场景，这是普遍存在的场景。
产品质量是每个企业的生命线。当前制造业的质量检测大部分由人工作业完成，工作强度大，特殊工序的作业环境危险，但准确率只有90%左右，近几年机器视觉质检在制造业开始推广，准确率达到了95%左右，但仍未满足企业的期望，很多企业购买了大量昂贵的设备，仍需要人工的二次质检，业界一直在寻找更好的方案， AI工业质检应运而生，我们知道精密生产起源于生产，生产车间在产线旁边布置很多的看板。比如我今天很开心，我们就会把笑脸符号贴在自己的名字旁边，这种侧面说人的因素会影响到生产的质量，特别是枯燥的质检工作，很难依靠员工来完全保证质检的准确率。这就需要借助科技的力量，把人们从枯燥复杂的重复的工作中解放出来。来提升最终的质量。
在华为的松山湖基地，我们部署了基于Atlas工业质检解决方案，实现了用Atlas生产Atlas ，这是非常有意义的生产场景。我们与凌华合作，将Atlas 300升级为智能工控机，让每一个工业传感器都拥有AI的能力；华为供应链的应用团队，基于SSD、U-Net的神经网络，将质检准确率提升到99% ，部分工艺的精度甚至可以达到99.9% ，这是非常令人兴奋的成果。同时我们把AI的质检算法模型，开放到了昇腾社区，也欢迎我们的开发者扫码下载使用。
生产线会制造不同的产品，为了满足产线弹性生产需求，我们通过云边协同的方案，实现了云端训练的模型，能快速下发并部署到边缘侧，带来业务模型更新效率3倍以上的提升。下面请大家观看松山湖南方工厂智能质检方案的视频。
刚才我给大家分享了云侧和边侧的应用，接下来分享一个如何用端侧利用AI能力解决行业难题。我们的合作伙伴，巧妙解决了，人工巡检遇到了山路崎岖，高空走线危险系数极高的难题。通过高压铁塔上面部署可视化的一体机传统方案只能做到一小时检测一次，这样会导致在一小时内发生的事故，都是无法预警的。借助Atlas模块的能力，一分钟检测一次，同时引入太阳能供电和极致的低功耗设计，设备可以做到20天无光照的条件下，仍然可以持续的运行。保障了社会的用电安全。这里要感谢合作伙伴金三立、智洋、信通在电力行业做出的贡献。