按关键词阅读：
文章插图
EMNLP（Conference on Empirical Methods in Natural Language Processing）是计算语言学和自然语言处理领域的顶级国际会议之一，由国际语言学会(ACL)旗下SIGDAT组织。EMNLP论文入选标准十分严格，今年论文录取率仅23.3%，相比去年略有下降。EMNLP学术会议上展示的研究成果，被认为代表着自然语言处理领域的前沿水平与未来发展方向。
本次入选论文，围绕“基于语言查询的视频片段定位”这一视觉-文本的跨模态任务，将NLP与视觉技术结合，技术让机器同时具备“理解文字”和“看懂视频”的能力：能够更精准地读懂文字，并理解视频内容，在整段视频中找出与给定文字相对应的视频片段。该项成果在多个数据集上，都取得了优于过去研究的表现。
这一成果在技术研究与实践领域都具有十分重要的意义：
在技术上让机器实现“多感官进化”：如今视觉、听觉等单点AI技术，将越来越难以满足多样的应用需求。该项技术旨在让机器向完成“跨模态任务”进化：让机器能够同时掌握视觉、文字等多种模态的信息，做到像人类一样看懂、听懂、读懂，拥有全面的能力。近年来在学界，跨模态任务已成为一大研究热点，为AI领域注入新的活力。
突破单点技术，扩大跨模态应用场景：在实战场景中，随着高清摄像头的普及以及网络媒体的快速发展，各式各样的视频呈海量增长态势，自动化视频处理AI技术也迎来巨大的需求。本项成果基于语言查询的视频片段定位技术，能够有效解决治理、出行等多领域的难点问题，例如公共场合下的安全监控、社交媒体视频内容的审核等等，突破以往的单点技术应用瓶颈，带来数量级的效率提升。
NLP等决策技术被认为是AI领域下一个技术突破口，使机器拥有理解、思考、分析决策的能力，为人机交互、行业应用等带来颠覆式改变。云从科技、上海交通大学提出Relation-aware Network，探索视频片段定位任务中的多种层面关系。
文章插图
一方面，已有的视频片段定位方法通常只考虑了视频片段和整个句子的关系，而忽略了视频片段和句子中每个词语这种更加细致的关系，这样就不能全面地交互视觉和语言的信息，云从和上交联合团队的研究者们提出了一种coarse-and-fine的交互方式，从粗粒度和细粒度的角度同时考虑了视频片段-句子层面和关系和视频片段-词语层面的关系。
另一方面，现有的工作往往忽视了不同视频片段之间的关系，或者仅仅采用了几层卷积网络的堆叠，存在计算量大、有噪声影响等缺点，本文的研究者们提出了一种稀疏连接的图网络，仅仅考虑了起始或者终止时间相同的视频片段，高效地建模了不同视频片段之间的关系，帮助模型更好地区分视觉上相似的视频片段。
文章插图
稿源：(雷锋网)
【傻大方】网址：http://www.shadafang.com/c/11159612A2021.html
标题：云从科技&上海交大的跨模态技术成果：探索多层关系的REMNLP 2021 | 研究者们