神经|温故而知新，6位顶级CV科学家聚首：计算机视觉中的深度学习方法vs传统方法( 三 )

文章插图

在 Jitendra 看来，我们可以通过训练一个大型的神经网络来获得工程应用所需要的能力。但是其背后的原理需要通过光学和自然世界中的统计结果来解释。这有助于我们应对计算机视觉领域发生的巨大变化。如今，我们正处于从监督学习范式转向自监督学习、弱监督学习等范式的过程中。
此外，我们正处于大数据的「陷阱」中。未来，监督信号将从「人工」走向「自然」，我们使用的「大数据」在更多情况下将转变为「小数据」。因此，少样本学习是十分重要的，而这就要求我们设计更多新的网络架构。
温故而知新，了解智能学科的发展历史有助于我们成为更好的研究者！

文章插图

Jitendra Malik 1986 年 1 月加入加州大学伯克利分校，他目前是电气工程和计算机科学系的 Arthur J. Chick 教授。他还是生物工程系、认知科学和视觉科学组的教员。2002-2004年任计算机科学系主任，2004-2006年和2016-2017年任EECS系主任。2018 年和 2019 年，他在 Menlo Park 担任 Facebook AI Research 的研究总监和站点负责人。
Malik 教授的研究小组致力于计算机视觉、人类视觉计算建模、计算机图形学和生物图像分析等许多不同的主题。
他于 1980 年获得 IIT Kanpur 电气工程最佳毕业生金奖，并于 1989 年获得总统青年研究员奖。他的论文获得了无数最佳论文奖，其中包括五项时间检验奖 - 因在 CVPR 发表的论文而获得的 Longuet-Higgins 奖（两次）和在ICCV发表的论文而获得的 Helmholtz 奖（3次）。他获得了 2013 年 IEEE PAMI-TC 计算机视觉杰出研究员奖，2014 年 K.S.国际模式识别协会傅奖、2016年ACM-AAAI艾伦纽厄尔奖、2018年IJCAI人工智能卓越研究奖、2019年IEEE计算机学会计算机先锋奖。他是 IEEE Fellow和 ACM Fellow 。他是美国国家工程院院士和美国国家科学院院士，美国艺术与科学院院士。

讨论环节

Q1：这十年来，从经典方法到深度学习方法的转变是如何发生的？请问 Svetlana，在你的研究过程中，这一过程是自顶向下的，还是自底向上的？也就是说，导师们发现了深度学习的强大，并将其介绍给了学生们；还是学生们将这一技术推荐给了导师？
Svetlana：我的经历也许与许多研究者相似。我记得「Alexnet」是深度学习时代到来的重要里程碑，它在 ImageNet 竞赛中一举夺冠，并在 ECCV 2012 上发表了研究论文。Alexei 当时还和 Yann LeCun 等人就此事进行了争论，Alexei 对神经网络持怀疑态度，他认为用这些网络进行分类任务并不具有说服力，使用神经网络完成检测任务才可以说服他。就我个人而言，一开始我也怀疑自己是否能够参与这类研究，因为这些方法就好像魔法，其中有太多的奥秘。我不知道这些结果是否可以复现，是否会被研究社区所接受。
令人高兴的是，这些年过去了，我的怀疑被证明是错误的。人们发明了 Caffe 等好用的程序包，2013、2014 年前后，学生们开始研究此类方法，那时你甚至只需为自己的特定数据集训练一个 Alexnet 或者使用现成的特征就可以发表研究论文。而如今，研究走进了深水区，竞争越来越激烈，我又变得悲观了起来。

神经|温故而知新，6位顶级CV科学家聚首：计算机视觉中的深度学习方法vs传统方法

文章插图

Svetlana Lazebnik 在2006 年获得伊利诺伊大学计算机科学博士学位。2007 年至 2011 年在北卡罗来纳大学教堂山分校担任助理教授后，她返回伊利诺伊大学任教，目前担任计算机科学系正教授。她获得的奖项包括 NSF CAREER 奖（2008 年）、微软研究院研究奖（2009 年）、斯隆研究奖（2013 年），并当选 IEEE Fellow（2021 年）。她于2006年发表在 CVPR 的关于空间金字塔匹配的论文获得了 2016 年 Longuet-Higgins 奖，该论文对计算机视觉有重大影响。她曾担任 ECCV 2012 和 ICCV 2019 的程序主席，目前担任国际计算机视觉杂志的主编。她的主要研究主题包括场景理解、大规模照片集的建模、图像和文本的联合表示以及视觉识别问题的深度学习技术。
Q2：Lana 提到了当年 Alexei 和 Yann 争论的轶事，请问 Alexei 现在回过头怎么看待当时的争论？
Alexei：
2011 年前后，我曾去纽约大学呆了几个月，在 Yann LeCun 那里试图理解神经网络。那时，我认为人们还没有准备好步入深度学习时代，神经网络在 ImageNet 上的效果并不能说服我，我认为分类任务比检测任务简单得多。然而，大概一年之后，RCNN 横空出世，他们证明了深度学习在检测任务上也是可行的。