宽哥玩数码正是多模态技术未来亟需突破的瓶颈，京东姚霆：推理能力( 三 ) 受访者|姚霆

首先在广度上，京东研究了如何在图像整体特征级别、局部区域级别和像素级别进行跨域学习，使得这些跨域学习技术可以无缝地适用于图像识别、物体检测和语义分割这几大任务，同时脱离开特征级别的跨域迁移，还结合生成式对抗网络，直接在原始图像、视频上进行无监督跨域转换。
在深度上，实验室也对跨域学习框架进行了一些变革与创新，比如2019年提出了一个基于原型网络的跨域学习框架（TPN ， TransferrablePrototypicalNetworks），它可以将特征学习和目标任务的学习融为一体，有效地提升跨域学习的性能，此外，实验室还从理论上证明了自主学习（self-learning）对于模型跨域转换的促进作用。在今年的CVPR上，实验室利用无监督聚类技术深挖目标域的内在数据结构，并利用这一信息更好地指导跨域学习，在主流的数据集Office和VisDA的封闭集和开放集上均取得了SOTA效果，其中在VisDA2017数据集上达到87.2%的准确率。。

文章图片
多模态热门应用之视频分析
再进一步聊到多模态技术在应用上的进展，姚霆提到了视频分析技术实用性非常强的热门研究方向。京东当然也洞察到这个有潜力的方向，在视频分析技术的各大方向均有自研的独创性工作。
其中最基本是视频特征表达的学习，目标在于从原始视频数据中学习包含高层语义信息的特征向量。为此，姚霆团队设计了几种独特的三维卷积网络模型，比如伪三维卷积神经网络和局部——全局传播网络。在这些特征的基础上，实验室还搭建了包括视频事件检测、视频语义分割和视频动作检测的视频理解系统，实现对视频内容的全方位分析。与此同时，在每一个视频分析的具体应用中，实验室也都沉淀了相应的技术创新，比如针对视频事件检测提出了使用时域高斯函数对事件发生时间段进行预测的方法，同时也设计了基于网络结构自动搜索的语义分割方法，用以达成实时的视频语义分割；针对视频动作检测，提出了同时对长短时关联性进行建模的方法，也获得了在该领域领先的性能。

文章图片
多模态热门应用之视频分析之视频内容理解视频内容理解同样是一个热门的多模态研究方向。姚霆预测，在未来，视频内容理解有两个较为重要的发展趋势，即无标注或弱标注视频数据的使用，以及针对视频特质的神经网络设计。首先，数据是深度学习训练的基础，同时也是发展视频内容理解技术的必备条件。目前视频内容理解系统的训练通常依靠大量的人工标注视频数据，这就不可避免地需要耗费时间和人力。如果可以充分利用互联网上海量的无标注或弱标注视频数据来进行训练，将会突破视频数据来源的限制，全面提升视频内容理解的性能。因此，无监督学习、半监督学习与弱监督学习都将成为视频内容理解的新趋势。另一个方向则是针对视频特质的神经网络结构设计，目前视频内容理解中所使用的网络结构通常与图像领域的网络结构高度耦合，它们并不是真正为视频而生的网络结构，缺乏对视频数据独到且深刻的见解。所以，如何针对视频数据来设计全新一代的神经网络结构，也是视频内容理解领域一个重要的发展趋势。针对跨模态分析领域，尽管视觉内容的理解可以随着各种高性能网络的设计和深层语义的挖掘不断升级，视觉和语言间交互的方式也已经从传统的一阶注意力机制演化到可捕捉高阶乃至无穷阶信息交互的注意力机制，但视觉与语言的技术发展依然逃脱不了深度学习对于训练数据的贪婪。
因此，如何能在海量的弱监督数据上学习更具泛化能力的视觉和语言之间本质联系，将是下一个研究的热潮。而一旦在这些海量的弱监督甚至于无监督数据上通过预训练学习到了蕴含有多模态间本质联系的模型，便可赋予它在各种视觉与语言任务上的生命力。基于此，我们最近也在数以亿计的网页上持续不断地自动抓取视频——语言的多模态数据，构建了视频——语言领域首个弱监督的大规模数据集（Auto-captionsonGIFdataset），并正在ACMMultimedia2020上举办跨模态预训练的竞赛，其目的还是希望能为跨模态预训练技术的未来发展准备好一个充分与完备的平台。

宽哥玩数码 正是多模态技术未来亟需突破的瓶颈，京东姚霆：推理能力( 三 )

宽哥玩数码正是多模态技术未来亟需突破的瓶颈，京东姚霆：推理能力( 三 )