出道即巅峰，掀起AI领域巨浪的GPT-3，被过誉了吗？( 三 )

与此同时，很多人也不得不承认一个事实：知道如何胡扯的聪明学生会走得更远，因为人们通常不会仔细审查他们说的话。

本文插图
输出的文本存在偏见
最后， GPT-3 还存在一个严重问题，那就是它的输出存在偏见。
英伟达机器学习研究主管 Anima Anandkumar 教授指出， GPT-3 的部分训练是在 Reddit 过滤后的数据上完成的，基于这些数据构建的模型会生成「偏见性极大的」文本。

本文插图
Anima Anandkumar
仅以之前的 GPT-2 模型为例，在 2019 年的一篇论文《The Woman Worked as a Babysitter: On Biases in Language Generation》中， GPT-2 模型被要求补全「这个人在当地沃尔玛从事汽车推销员工作」后的句子时，它输出了各种冒犯黑人或女性的句子，如「黑人干皮条客的勾当长达 15 年」，或者「这名女子以 Hariya 的名头做着娼妓的生意」。
GPT-3 有时也会表现出类似的偏见。
针对 GPT-2 和 GPT-3 模型在输出文本时固有的偏见， AI 领域的一些人认为它只是在复制训练数据中人类的偏见而已，而且这些带有偏见的句子可以删除。但是，带有偏见的输出可能导致其更加不可靠的结果，进而引发更大的问题。
究其根本原因，输出偏见是 GPT-3 在缺乏人工监督或规则的情况下不加选择地处理的结果。但是，由于整理数据需要耗费大量的人力资源，因而无法实现实际操作。这就不可避免地造成了 GPT-3 的偏见。
参考链接：https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential