领域|IEEE Fellow梅涛：视觉计算的前沿进展与挑战

文章插图

创造出具有智慧的机器，迈向通用AI是人类长期以来的梦想。当下的AI发展到了哪个阶段？

作者 | 维克多

编辑 | 青暮
今年12月9日，第六届全球人工智能与机器人大会（GAIR 2021）在深圳正式启幕，140余位产学领袖、30位Fellow聚首，从AI技术、产品、行业、人文、组织等维度切入，以理性分析与感性洞察为轴，共同攀登人工智能与数字化的浪潮之巅。
大会次日，IEEE/IAPR Fellow，京东集团副总裁，京东探索研究院副院长梅涛在GAIR大会上做了《从感知智能到认知智能的视觉计算》的报告，他指出视觉计算的感知研究虽然已经相对成熟，某些人工智能（AI）任务已经能够通过图灵测试，例如在内容合成与图像识别，但在视频分析领域，视频数据内容多样化以及视频语义的不清晰等原因导致该领域还存在大量挑战性问题。
同时，在认知领域，视觉计算已经有一些进展，例如Visual Genome、VCR等数据集已经布局结构知识建模；而在推理层面，国内学者已经尝试通过联合解译和认知推理深入理解场景或事件。
以下是演讲全文，AI科技评论做了不改变原意的整理：

文章插图

今天的演讲题目是《从感知智能到认知智能的视觉计算》。在开始之前，先用两个图灵测试的例子大致说明AI的进展。
首先计算机视觉不仅在识别领域，在内容合成领域已经达到通过图灵测试的标准。正如上图所示，人类已经很难在一组图片中将两张机器合成的图片挑选出来。

文章插图

另外一个图灵测试的例子是“看图说话”：给定一张图片，描述图片的内容。下面两句话分别由人（第一句）和机器（第二句）生成。很显然，如果不仔细看图片，可能会潜意识的认为机器比人写的详细。
1.a dog is lifted among the flowers
2. a dog wearing a hat sitting within a bunch of yellow flowers
如果仔细观察图片，就会发现确实有一只手把小狗举了起来。这也说明：不太经常发生的现象，机器很难描述，其原因和机器学习的内容相关，以及机器没有逻辑推理能力。
通过上述两个例子我们可以看出：在感知领域，AI已经超越人类；而在认知领域，它还欠缺一些火候。

计算机视觉的进展与挑战

文章插图

上图是计算机视觉在过去五六十年取得的进展，2012年深度学习“大火”之前，计算机完成视觉任务通常有两个步骤：特征工程和模型学习。
特征工程的特点是完全依靠人类智慧，例如设计Canny edge、Snak、Eigenfaces等参数特征，同时这些方法已经获得了大量的引用，Canny已经被引用了38000次，Snak 18000次，SIFT更是已经超过了64000次。
2012年之后，深度学习兴起，颠覆了几乎所有的计算机视觉任务。其特点是将传统的特征工程和模型学习合为一体，即能够在学习的过程中进行特征设计。
深度学习火热的另一个标志是每年有大量的论文投到计算机视觉顶会（CVPR、ICCV、ECCV等），同时如果这些方法表现“杰出”，就能够获得大量的流量，例如GoogleNet VGG在不到8年的时间里获得了10万次引用；2015年的ResNet更是在更短的时间获得了接近10万次的引用。
这说明深度学习领域在飞速发展，而且进入这个领域的人越来越多。一方面不仅深度学习网络在不断“更新换代”，图像、视频等数据集也在不断增长，甚至有些数据集规模已经过亿。
其中，深度学习的一个趋势是“跨界”。在2019年，Transformer在自然语言处理领域的性能被证明“一枝独秀”，现在已经有大量学者开始研究如何将其纳入视觉领域，例如微软亚洲研究院swin transformer相关工作获得了ICCV的最佳论文奖。

文章插图

上图展示了随着研究范式的变化，数据集的变化趋势。无论是数据集的类别还是数据集的规模都在不断增大，有些数据集更是超过了10亿级别。目前类别最多的是UCF101数据集，其中包括101个类。同时，大规模也带来了一个弊端：一些高校和小型实验室无法进行模型训练。