「科技刀」Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面，7 机器之心&ArXivWeeklyRadiostation

机器之心&ArXivWeeklyRadiostation
参与：杜伟，楚航，罗若天
本周的重要论文包括MIT韩松团队提出的GAN通用压缩方法，以及西湖大学登上《Science》封面的新冠病毒研究。
目录：
GANCompression:EfficientArchitecturesforInteractiveConditionalGANs1stPlaceSolutionsforOpenImage2019-ObjectDetectionandInstanceSegmentationStanza:APythonNaturalLanguageProcessingToolkitforManyHumanLanguagesNaturalLanguageProcessingandTextMiningwithGraph-StructuredRepresentationsCircleLoss:AUnifiedPerspectiveofPairSimilarityOptimizationStructuralbasisfortherecognitionofSARS-CoV-2byfull-lengthhumanACE2JuliaLanguageinMachineLearning:Algorithms,Applications,andOpenIssuesArXivWeeklyRadiostation：NLP、CV、ML更多精选论文（附音频）【「科技刀」Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面，7】论文1：GANCompression:EfficientArchitecturesforInteractiveConditionalGANs
作者：MuyangLi、Jun-YanZhu、SongHan等论文链接：https://arxiv.org/pdf/2003.08936v1.pdf摘要：生成模型GAN是机器学习领域里最为重要的发展方向之一。但这类算法需要消耗巨量算力，大多数研究者已经很难得出新成果。近年来，这一方向颇有被大型机构垄断的趋势。但近日，来自麻省理工学院（MIT）、Adobe、上海交通大学的研究者提出了一种用于压缩条件GAN的通用方法。这一新技术在保持视觉保真度的同时，将pix2pix ， CycleGAN和GauGAN等广泛使用的条件GAN模型的计算量减少到1/9~1/21 。该方法适用于多种生成器架构、学习目标，配对或非配对设置。 GAN压缩后的具体性能如何？在研究者们展示的Demo中，使用CycleGAN为视频中的马添加斑马条纹所需的算力不到1/16 ，帧数提高了三倍，而且效果还有所提升。值得一提的是，该研究所使用的硬件平台是英伟达的边缘AI计算芯片JetsonXavierGPU 。根据官方公布的数据， JetsonXavier的INT8算力为22+10TOPS ，骁龙865则是15TOPS 。压缩后的GAN现在看来已经可以跑在机器人、无人机等小型设备上了，未来塞进手机指日可待。

文章图片
文中CAN压缩方法的整体架构图。

文章图片
Cityscapes、Edges→Shoes以及Horse→Zebra数据集上效果比较。

文章图片
在NVIDIAJetsonAGXXavier、NVIDIAJetsonNano、1080TiGPU和XeonCPU上测到的内存和延迟下降。推荐：GAN也可以大幅压缩， MIT韩松团队的最新研究让众多研究者们为之一振。论文2：1stPlaceSolutionsforOpenImage2019-ObjectDetectionandInstanceSegmentation
作者：YuLiu、GuangluSong、XiaogangWang等论文链接：https://arxiv.org/pdf/2003.07557v1.pdf摘要：在本文中，来自港中文、南洋理工以及港大等的研究者提出DecouplingHead（DH），它通过自学习的最佳特征提取来解耦目标分类和回归，从而带来巨大的性能提升。此外，他们将soft-NMS算法调整为adj-NMS ，以获得稳定的性能提升。最后，通过voting确定边界框的位置和置信度，进而提出了一种设计合理的集成策略。此外，研究者还将介绍几种训练/推理策略以及一些稍作改进的技巧。鉴于这些细节，他们训练和集成了28个具有不同backbone、head和3+2专家模型的全局模型，并在OpenImage2019目标检测挑战赛上的公开和私有排行榜上排名第一。

文章图片
利用DH实现更快速RCNN的pipeline 。