科技一哥|我为那个藏在二进制背后的人赋予了声音，GPT-3: From:FASTCOMPANY;编译:Shelly翻译、写

From:FASTCOMPANY;编译:Shelly
翻译、写作、编代码……拥有强大功能的GPT-3程序无疑是现有自然语言生成程序中最“优秀”的那一个，且在诸多行业都有应用潜力，包括教育业、新闻业、顾客服务业等等。与此同时，它的强大自学能力和广泛应用性，使得它存在着被滥用的风险，对于传媒行业从业人员也造成巨大的冲击。
七年前在宾夕法尼亚州， PrasenjitMitra和他的学生使用自主设计的一套自动程序，写成了一篇维基百科文章，介绍泰戈尔的独幕剧《齐德拉》。
他们首先用程序在互联网上筛选有关《齐德拉》的信息，然后对已有的维基词条进行分析，掌握维基百科文章的标准结构，最后总结搜集到的信息，形成该词条的初稿。
但事实上，他们设计的程序对《齐德拉》和泰戈尔“一无所知” ，也没有原创任何内容，只是从已有文章中挑选句子，拼凑了一篇新文章。
再看看2020年，人工智能科研公司OpenAI设计出了名为GPT-3（GenerativePre-trainedTransformer）的语言生成程序。
这款程序可以自主学习、总结并写出新的文章，让许多像Mitra这样的计算机科学家赞叹不已。
来看看GPT-3是什么
“我为那个藏在二进制背后的人赋予了声音” ， GPT-3这样写道， “我创造出了一位作家、雕刻家、艺术家，这位作家将下笔成章、为生活倾注情感、创作出经典人物形象，也许我见不到这一天了，但是总有人能见到。我所创造的这位诗人将比我见过的所有诗人都更伟大。 ”
与Mitra和他的学生们所编写的自动程序不同， GPT-3生成的语言流畅自然，就像人写出来的一样。 GPT-3无疑是现有自然语言生成程序中最“优秀”的那一个，且在诸多行业都有应用潜力，包括教育业、新闻业、顾客服务业等等。
大小很重要
GPT-3证实了数十年来计算机科学家们的信条：大小很重要。
GPT-3使用的深度学习模型是Transformer ，它利用注意力模型对句子语义进行编码。注意力模型的工作原理是根据同一句中其他词语的意思来确定目标词的含义。理解了句子的含义后，注意力模型就能够完成用户要求的任务，不管是“翻译句子”、“总结段落”还是“写诗”！
Transformer在2013年首次亮相，过去几年一直成功应用于机器学习领域。
但是如此大规模的使用是前所未有的， GPT-3的参数量巨大：从维基百科获取了30亿令牌，令牌即计算机科学领域中“词语”的叫法；从各类网页获取了4100亿令牌；从电子书获取了670亿令牌。它的参数量要比2月份刚刚推出的、全球最大深度学习模型TuringNLP大上十倍。

文章图片
自学能力
GPT-3语言生成模型展现出了超强的知识储备，而且还是“无师自通” 。
机器学习一直都有赖于监督式学习，科学家需要以图片、声音或者文字的形式，给计算机提供有注释的示例，比如“猫”、“快乐”或者“民主” 。计算机将利用这些示例学习物品的特征，最终能够识别出这些特定概念。
但是，人工添加注释不仅耗时过长，而且成本太高。

文章图片
从这一点看，无监督学习是机器学习的未来。这种方式下，计算机在接受训练阶段不需要外部监督，科学家只需提供大量数据，计算机就能够实现自主学习。
GPT-3的自然语言处理离实现无监督学习又进了一步。得益于大量数据储备和强大的处理能力， GPT-3只需一个任务描述、一次展示，就能完成任务，这被称为“一次性学习”One-shotlearning 。