出道即巅峰，掀起AI领域巨浪的GPT-3，被过誉了吗？( 二 )

本文插图
GPT-3 当然也能做到这一点，最令人印象深刻的是，它未曾接受过什么特定训练，不再需要微调，就能够完成这些任务。这也说明了其所具备的模型灵活性。
总体来看， GPT-3 做到了一点：「用过的人都说好」，这表示它已经接近封神的地位。
深度学习之父 Geoffrey Hinton 这样评价：「如果以 GPT-3 的出色性能推算未来，生命、宇宙和万物的答案也不过是 4.398 万亿个参数。」

本文插图
尽管 GPT-3 确实足够优秀，但发布一个多月以来，相关领域媒体的鼓吹情绪变得越来越强烈，以致于 OpenAI 的 CEO Sam Altman 在推特上公开表示：「GPT-3 的夸大宣传是太多了。」

本文插图
GPT-3：我没有那么完美
GPT-3 被夸大宣传，原因出在哪里呢？The Verge 上的一篇文章提供了详细的解读，指出了 GPT-3 在输出偏向性、商业价值和数据偏见等方面存在着不可忽视的缺陷。
输出具有偏向性且会犯低级错误
我们可以看到，所有这些示例都需要上下文，这样才能更好地理解。语言模型（包括 GPT-2）通常的情况是，它们在完成基础培训后进行微调，以执行特定的任务。
【出道即巅峰，掀起AI领域巨浪的GPT-3，被过誉了吗？】GPT-3 却没有接受过完成任何特定任务的培训，也不需要任何微调。例如在语法难题中，它需要一些类似于预期输出类型的示例（称为 few-shot 学习）。但总的来说，该模型是如此庞大，以至于各种功能都可以嵌套在它的节点上。用户只需要输入正确的提示就可以「骗过」它们。
此外，需要看到，上下文带来的并不只是优点。
首先，有炒作因素。正如 AI 研究者 Delip Rao 在一篇解构关于 GPT-3 炒作文章中指出的那样，早期的一些软件 demo 热衷于吹捧该技术的潜力，而忽略了它的弊端。
其次， GPT-3 在输出「筛选」上具有偏向性，通常展示起作用的结果，而忽略掉那些不起作用的。所以， GPT-3 的能力在细节上有较多缺陷。仔细检查输出就会发现一些没人会犯的愚蠢而粗俗的错误。
举例而言，在使用 GPT-3 与历史人物交谈的项目中，当用户与虚拟的乔布斯交谈时，问题是：「你现在在哪里？」，虚拟的乔布斯回答说：「我在加利福尼亚州库比蒂诺的苹果总部。」这是一个连贯通顺的答案，但显然不是一个值得信赖的答案。
此外，在回答一些琐碎问题或者基本数学问题时，也能够发现 GPT-3 犯了类似的错误。例如，无法正确地回答 1000000 之前的数字是什么。
值得商榷的商业价值
此外， GPT-3 的种种输出错误引出了另一个问题：它不可信赖的性质是否会影响其整体效用？毕竟 GPT-3 很大程度上是 OpenAI 的一个商业项目。
客户已经基于各种目的来试验 GPT-3 的 API ，如创建客服机器人和自动化内容审核等。但是， GPT-3 会输出前后不一致的答案，这将成为企业的一大不利因素。试想，有谁希望自己创建的客服机器人时不时地冒犯到客户？并且，如果无法确认 GPT-3 输出可靠的答案，那么为什么还要将它用作教育工具呢？
一位不愿意透漏姓名的谷歌高级 AI 研究员认为， GPT-3 只能实现一些轻松任务（trivial task）的自动化处理，而对此其他一些规模更小、价格更低的 AI 程序同样可以很好地办到。并且， GPT-3 的不可靠性将最终损害其商业价值。
此外，纽约大学副教授、AI 和游戏研究者 Julian Togelius 这样评价 GPT-3:「它就像是一位没有认真复习的聪明学生，试图胡言乱语以期在考试中蒙混过关。它会扯到一些已知事实、似是而非的事实、谎言，并将这些串联从而看起来像是流畅的叙述。」