孤惯|通用人工智能啥时候能实现？这是我的最新预测( 二 ) 本文最初发表于alexirpan网站

那篇“火警警报”的帖子中的一部分提出了一些假设，解释了为什么人们声称通用人工智能是不可能的。其中一个假设是，研究人员过于关注使用现有工具进行工作的难度，并将这种难度推断到未来，得出结论：我们永远不可能创造出通用人工智能，因为现有的工具还不够好。这是个槽糕的论点，因为你的推断也需要考虑到研究工具也随着时间的推移而改进。
“工具”的意思有点模糊。一个明显的例子是我们的编码库。在过去，人们用 Caffe、MATLAB 和 Theano 来编写神经网络，而现在主要是 TensorFlow 和 PyTorch 。一个不太明显的例子是用于计算机视觉的特征工程。最后一次有人谈论计算机视觉的 SIFT 特征是什么时候？那是好多年以前，它们现在已经过时了。但特征工程并没有消失，只是变成了卷积神经网络的架构调优。对于计算机视觉研究者来说， SIFT 特征是老旧的工具，卷积神经网络则是崭新的工具，而计算机视觉是被更好的工具所强化的应用。
然而对我来说，我并不是计算机视觉专家。我认为用于控制的机器学习是一个更有趣的问题。但是，在基于图像的环境中，你必须进行计算机视觉来进行控制，如果你想处理现实世界，基于图像的输入是最好的选择。所以对我来说，计算机视觉是工具，机器人是应用，计算机视觉的进步推动了许多有前途的机器人学习成果。
AlexNet 自动学习的过滤器，而 AlexNet 本身已被更好的工具 ResNet 淘汰了。
我是研究工具的大力支持者。我认为就平均而言，人们低估了它们的影响力。因此，在阅读了人们不能正确预测工具改进的假设之后，我进行了思考，认为自己也没有正确地解释它。那应该被砍掉几年。
在机器学习更多的经验方面，进展的明显组成部分是你的想法和计算预算，但也有一些不那么明显的，比如，你的编码和调试技能，以及你使用计算机的能力。如果代码没有使用所有可用的处理器，那么每台计算机有多少个处理器就并不重要。有很多令人惊讶的机器学习应用，主要的增值来自己于更好的数据管理和数据汇总，因为这些工具可以腾出决策时间来做其他事情。
一般来说，每个人的研究工具都有一定的缺陷。研究是为了做一些新的事情，自然也就会发现新的问题，为了解决三个月前还不存在的问题，人们就做出了完美的工具，这不太可能。因此，你现在的研究工具总是会让人感觉不太好用，你就不应该用它来争论什么时间轴的问题。
研究栈有很多部分，整个栈中有不断的改进，而且这些改进中的大多数都有乘法效应。乘数因素可以非常强大。一个简单的例子是，要获得 10 倍的更好结果，你可以通过范式转换将一件事改进 10 倍，或者可以将 10 件不同的事情改进 1.26 倍，它们加起来可以得到 10 倍的总体改进。后者同样具有变革性，但可能要容易得多，特别是你让 10 位拥有不同技能的专家为了一个共同目标而合作的时候。这就是企业如何成就一件事情的秘诀。
半监督和无监督学习正变得越来越好从历史上来看，无监督学习一直处于这种奇怪的位置，它显然是正确的学习方式，但如果你想让某件东西尽快发挥作用，这也完全是在浪费时间。
一方面，人类学习的大多数东西都没有标签，所以机器学习系统也不应该需要什么标签。另一方面， 2015 年的深度学习热潮主要是由带标签的大型数据集上的监督学习所推动的。当时， Richard Socher 在推特上发布了一条引人入目的推文：