「人工智能」清华「计图」、旷视「天元」纷纷重磅开源，国产深度学习框架来了 |深度学习|Google|Python|

本文插图
1956年，美国的达特茅斯会议成为人工智能开启的标志性事件。同年，中国第一批自主制造的汽车——解放牌汽车在长春第一汽车厂出厂，才结束了我国不能生产汽车的历史。
2020年，中国汽车产销量已经连续多年蝉联全球第一。与此同时，人工智能的技术研究与应用在中国已经遍地开花，并涌现出了包括旷视、商汤、依图、寒武纪等在内的一大批具有代表性的AI初创公司。
而深度学习框架作为人工智能时代的操作系统，一直被 Google 的 TensorFlow 和 Facebook 的 PyTorch所统治，因此深度学习框架的国产化替代也成为了政产学研界关注的焦点。
近日，清华开源的深度学习框架 Jittor（计图）引起了广泛关注，支撑旷视诸多业务和战绩的深度学习框架 MegEngine（天元）也将在近日开源。据悉，华为也将开源自己的深度学习框架。加上百度的 PaddlePaddle（飞桨）等，国产深度学习框架的发展迎来了高光时刻。
从1.0到3.0：由静到动，动静结合，深度学习框架进化史
深度学习框架的技术发展史可以用一句话来形容：由静到动。依据采用动态计算或是静态计算的不同，可以将这些众多的深度学习框架划分成两大阵营：其中静态图机制以 TensorFlow 1.0 为代表，动态图机制以 PyTorch 为代表。

本文插图
图片已获授权
静态计算则意味着程序在编译执行时将先生成神经网络的结构，然后再执行相应操作，它是通过先定义后运行的方式，之后再次运行的时候就不再需要重新构建计算图，所以速度会比动态图更快。
动态计算意味着程序将按照我们编写命令的顺序进行执行。这种机制将使得调试更加容易，并且也使得我们将大脑中的想法转化为实际代码变得更加容易。
通常来说，静态图机制能够对整体性做编译优化，更有利于性能的提升，占用资源少且易于部署，符合工业部署应用的需求；而动态图则非常便于用户对程序进行调试，简单灵活且易于上手，符合科研探索的需求。
由于动态图的灵活性、易用性展现出对科研人员极大的吸引力，更多框架也开始支持动态图，比如 TensorFlow 2.0 ，清华的 Jittor 。
不过，训练效率和规模化始终是工业界最重要的问题，动态图下的性能优化问题也需要解决。因此，各框架取长补短趋同性比较明显，前端易用性、计算高效性、框架稳定性成为持续优化方向。
而这一趋势也意味着，动静结合正在成为 3.0 时代的解决方案。
以旷视即将开源的MegEngine 为例，其运行时管理层包括两个模块，分别是内核调度和内存管理和优化两大模块。在内存管理和优化模块中， MegEngine 采用了动态、静态内存分配并存的方式，因此可同时支持动态图和静态图模式。
因此， MegEngine 整合了动态图与静态图各自的优势，在充分利用动态图模型训练优势时，通过动静态一键转换功能，以静态图的形式完成生产和部署；此外， MegEngine 还支持动静态的混合编程，灵活性更强。旷视研究人员在接受采访时称，即便是新同学不到1个月就可以快速上手。
从研究到部署，深度学习框架大比拼

本文插图
图片已获授权
TensorFlow：Google 出品， 2015 年开源，是目前主流的深度学习框架之一。开发者群体庞大，应用成熟，在部署效率和异构设备支持上表现突出。然而自 TensorFlow 2.0 推出之后，由 API 混乱，众多 issue 得不到解决等问题引起的讨论，其霸主地位正受到竞争者的挑战。