「吴恩达」吴恩达专访：我的人工智能科研之路( 三 ) |人工智能|机器学习|Coursera|

为此他还画了一个图，并说服了我：当模型的规模比在GPU上所做的大的多的时候，便能够得到一个非常好的结果。或许这是一种有争议的文化，当时有很多朋友都说我追求规模的举动非常糟糕。但是我发现，如果你想取得突破，你必须对你所做的事情有信心，在事情流行之前做一些事情，会让你更有影响力。
4、数据集的规模和学习机制都很重要！其实数据集的规模和学习机制都很重要，当然这依赖于特定的问题，目前已经有几个数据表明，在基本错误率方面，我们正在接近或超过人类水平。如果我们看看最近使用你们的语言模型取得的突破，例如GPT-2和Bert ，就会发现这是架构和规模的结合。
我们已经在管理cold thing方面在逐渐成熟，例如版本控制。但是我们在管理数据集方面并不成熟，例如软件上一些乱七八糟的数据问题。高质量数据集也非常重要，举个例子，当我们与制造公司合作时，标签不一致的情况非常多。（雷锋网）
对于大型互联网公司，有很多数据，错几个标签没关系，但是对于小公司，并没有大量的数据，假如只有100个数据，却有10个错误标签，那么错误率就是10% ，这对训练的影响会非常大。
5、初学者如何进入深度学习领域？一个人是如何进入深度学习领域的呢？虽然大多数都是自学但是仍得益于专业化的设计。什么是序列模型？什么是注意力模型？是不是非得微积分才能理解这些概念，其实如果只在电脑上操作两个矩阵相乘只需要高中知识就够了。
当然了，深入学习还需要线性代数的支撑，需要了解非常基本的知识，了解一些编程。但是有人已经做了机器学习的调用，所以进行深度学习非常容易。
初学者在学习人工智能的时候，应该多实践，了解算法之间的不同之处，一开始不要费心去收集数据。在学习的过程中要进行自我测试，花时间修改架构，尝试新东西，高效的构建神经网络，但规模也不要太大，神经网络的规模要在你可支出的范围之内即可。
你可以在前六个月建立一个完整项目，眼光不要只放在数据这一个小的方面。必须着手构建实用的机器学习的系统思维框架，打个比方，我们在学习编程的时候哦，必须必须学习一些语法， Python也好， C++也好。但同样重要的是，也许编码中更重要的部分是理解如何将这些代码融合在一起。什么时候应该在函数列中放置一些东西？
你什么时候不放置？什么样的框架能让程序员更加高效？我记得当我在卡内基梅隆大学读本科时，我的一个朋友会先试着用代码来调试他们的代码。他每一行都要注意语法错误。语法错误是可怕的，应该学习如何调试。另外，机器学习程序中调试的方式与二进制搜索方式非常不同。
【「吴恩达」吴恩达专访：我的人工智能科研之路】非常擅长调试机器学习算法的人，会让某些东西工作起来的速度很容易就快了10倍，也许是几百倍，他们调试的过程非常高效。与学习数学类似，深度学习的一个挑战是，有太多的的概念。如果你忽略了概念，那么你就可能弄不清后面要做的事情的前提条件。（雷锋网）
因此，在深度学习的专业化学习中，要尽量打破概念，最大限度提高可理解性。这样的话，当深入学习时，就会有足够的信心。另外，我发现，如果我尝试教给学生最有用的技巧，并让他们即刻使用，就会缩短他们“强制”学习的时间。现在的世界变化太快了，也许几年的时间就会天翻地覆，但我认为我们还需要更多的进行强化学习。
深度学习令人如此兴奋，但人工智能团队不应该只使用深度学习，我的团队就会使用一系列的工具。有时候我们使用PC电脑，试图在PC上找出解决问题的原因，有时候使用代理模型，有时候使用草稿，这里面或许会有一些对行业有巨大影响的内容。