本文插图
分布式训练
TorchElastic是PyTorch的一个核心功能 ， 它能够让用户在抢占式实例上运行分布式训练 。

本文插图
△TorchElastic运行原理
新版本中 ， 添加了一个基于c10d::Store的“独立”集合点 ， 能够在本地支持弹性、容错分布式训练 。
此外 ， 现在还可在RPC中支持CUDA ， 并支持对分布式训练进行分析等 。
PyTorch Profiler
PyTorch Profiler是用来对PyTorch模型性能分析的一个工具 。
通过可视化页面来帮助我们分析具体运行情况 。

本文插图
在1.9版本中 ， 可以在Windows和Mac中支持新的torch.profiler API了 。
新的API支持现有分析器功能 ， 可以与CUPTI库集成（仅限Linux） ， 追踪设备上的CUDA内核 ， 并为长期运行项目提供支持 ， 例如：

本文插图
【PyTorch 1.9发布！移动端疯狂更新，网友：我的最爱】

• 移动硬盘|现在的电脑都取消了光驱，是因为不符合“高科技”？
• USB|40G/S，兼容多设备：奥睿科USB4.0 NVME固态移动硬盘盒
• 神回复|神回复：为什么中国移动138、139号段会被称为老板号？
• 固态硬盘|当移动硬盘遇上败家信仰，ROG幻影S500体验
• 客服|想把家里100m网络升到1000m，都说移动黑，这次确确实实体验到了
• 猎豹移动|不会吧，你还以为微信分账能解决“二清”？
• 移动硬盘|体验了一款买平板送整个世界的华为新品
• 移动电源|87W大功率，多设备快充，小米众筹1.2w台，这款倍思新品很能打
• 移动电源|12月1日发布！骁龙旗舰芯确认了：高通解释为啥不叫898
• 高通骁龙|高通骁龙品牌焕新，移动平台命名改变