写作神器还是魔鬼化身？万能语言模型GPT-3起底( 四 ) 智东西编译|心缘编辑|漠影20

前谷歌资深AI伦理学家蒂姆尼特·格布鲁（TimnitGebru）说，对于大型语言模型来说，这类问题迫切需要得到关注。因为如果这些技术在社会中普及，边缘化群体可能会遭遇不实描述。
围绕这篇论文的争论给格布鲁带来了麻烦，去年12月，她丢掉了在谷歌领导道德AI团队的工作。此前，谷歌内部审核人员称其论文没有达到出版标准，因此引发了一场纠纷。
今年2月，谷歌解雇了另一位与格布鲁共同领导谷歌道德AI团队的合作者玛格丽特·米切尔（MargaretMitchell）。

文章图片
▲AI伦理专家蒂姆尼特·格布鲁（TimnitGebru）（左）和计算语言学家艾米莉·班德（EmilyM.Bender）（右）
格布鲁说，当前的趋势是，在探寻像人类一样的流利度方面，语言网络越来越大，但并不总是更好。 “越来越多的语言模型被大肆宣传。 ”
她希望研究人员专注于使这些项目更安全、更可引导，以实现预期的目标。
八、防御风险的最佳方法
解决偏见的一种方法是从训练前的数据中清除“有毒”文本，但这引发了排除哪些内容的问题。
例如，开发者可以在“ColossalCleanCrawledCorpus”C4语料库上训练语言模型，该语料库不包含任何“不良”词汇列表的网页。
然而，这限制了在其上训练的任何语言模型的范围。由于它不容易实现自动化，更细粒度的方法尚未被大规模尝试。
有害的偏见可以采取公然的诽谤或难以定位和消除的微妙联想等形式。 OpenAI哲学家和研究科学家阿曼达·阿斯凯尔（AmandaAskell）认为，即使我们都同意什么才是“有毒”的，并能消除它，我们可能也不想盲目地使用语言模型。
“如果你问一个从未接触过性别歧视的模特：「世界上存在性别歧视吗？」他可能只会说「没」。 ”
研究人员还报告说，他们可以提取用于训练大型语言模型的敏感数据。
通过提出仔细的问题，他们检索了GPT-2记住的逐字记录的个人联系信息。结果发现，较大的模型比较小的模型更容易受到这种攻击。
他们写道，最好的防御方法就是限制训练数据中的敏感信息。
九、多家知名机构均未公开代码及训练数据
上述担忧表明，如班德和合著者所说的那样，研究人员至少应公开记录其模型的训练数据。
包括谷歌、Facebook在内的一些公司及高校团队已经做到了这一点，但英伟达、微软、OpenAI还没这样做。
OpenAI的GPT-3论文在去年12月的NeurIPS会议上获得“最佳论文”奖，但是拉斐尔反对，因为这项研究没有发布模型、训练数据或代码（该代码指定了如何构成模型和基于数据训练其参数）。
他说，这篇论文不应该被学术会议接受，更不用说获奖了。 “这开了令人沮丧的先例。 ”
OpenAI拒绝就此事置评。组织该会议的NeurIPS基金会说，作者无需发布代码和数据，如果将代码与特定的计算基础架构相连，可能很难共享。
英伟达已经发布了其大型语言模型Megatron-LM的代码，但没有发布训练模型或训练数据，并拒绝讨论原因。微软也不愿就没有公布Turing-NLG技术的代码、模型或数据的原因发表评论。
Askell说， OpenAI通过仅向用户提供AI中的应用程序编程接口（API）而非代码本身，来防止GPT-3被恶意使用。
除了创建一个为进一步研究增加收入的服务，这还使得团队能控制模型的输出，并在他们看到滥用时撤销访问权。
Askell称，其内部的“红色团队”正寻找方法来越过API的过滤器并产生“有害”内容，从而不断改进过滤器。
在去年OpenAI及几所大学举办的一场讨论部署模型的道德和社会挑战的论坛上，研究人员提到， OpenAI、谷歌和其他公司永远不会永远垄断大型语言模型。最终，有人会发布类似规模的模型。
当OpenAI在2019年2月公布GPT-2时，它最初表示因为担心恶意使用，不会发布其模型，尽管它在9个月后就发布了。
但在发布该版本前，大学生康纳·莱希（ConnorLeahy）通过几周的努力和一些云计算credits就能够复制它。
Leahy目前是德国海德堡创企AlephAlpha的研究人员，正领着导一个名为EleutherAI的独立志愿者研究小组，目标是在创建GPT-3大小的模型。
他说，最大的障碍不是代码或训练数据，而是计算，一家云提供商CoreWeave正提供这类服务。
十、大型语言模型的未知领域——常识
从根本上讲， GPT-3及其他大型语言模型仍缺乏常识，即缺乏对世界在物理和社会方面如何运作的理解。