下一代人工智能的发展方向（上）( 二 ) 今日分享ByRobToews尽管人工智能

如今，构建机器学习模型的标准方法是将所有训练数据收集到一个地方（通常在云中），然后在数据上训练模型。但是，这种方法对全球大部分数据都不可行，出于隐私和安全原因，这些数据无法移至中央数据存储库。这使其成为传统AI技术的禁区。
联合学习通过颠覆传统的AI方法解决了这个问题。
联合学习并不需要一个统一的数据集来训练模型，而是将数据保留在原处，并分布在边缘的众多设备和服务器上。取而代之的是，将模型的许多版本发送到一个带有训练数据的设备，每个模型都在每个数据子集上进行本地训练。然后将生成的模型参数（而不是训练数据本身）发送回云。当所有这些“微型模型”汇总在一起时，结果就是一个整体模型，其功能就像是一次在整个数据集上进行训练一样。
最初的联合学习用例是针对分布在数十亿移动设备上的个人数据训练AI模型。正如这些研究人员总结的那样：“现代移动设备可以访问大量适用于机器学习模型的数据... 。但是，这些丰富的数据通常对隐私敏感，数量庞大或两者兼而有之，因此可能无法登录到数据中心....我们提倡一种替代方案，将训练数据保留在移动设备上，并通过汇总本地计算的更新来学习共享模型。 ”
最近，医疗保健已成为联合学习应用中特别有前途的领域。
不难理解原因。一方面，医疗保健中有大量有价值的AI用例。另一方面，医疗保健数据，尤其是患者的个人身份信息，非常敏感；像HIPAA这样的法规丛书限制了它的使用和移动。联合学习可以使研究人员能够开发挽救生命的医疗保健AI工具，而无需从源头转移敏感的健康记录或使它们暴露于隐私泄露中。
涌现了许多初创公司，以追求医疗保健领域的联合学习。最有名的是总部位于巴黎的Owkin；早期阶段的参与者包括Lynx.MD、Ferrum Health和Secure AI Labs 。
除医疗保健外，联合学习有一天可能会在任何涉及敏感数据的AI应用的开发中发挥中心作用：从金融服务到自动驾驶汽车，从政府用例到各种消费产品。与差分隐私和同态加密之类的其他隐私保护技术结合使用，联合学习可以提供释放AI巨大潜力的关键，同时减轻对数据隐私的棘手挑战。
如今，全球范围内颁布的数据隐私立法浪潮（从GDPR和CCPA开始，即将推出许多类似的法律）只会加速对这些隐私保护技术的需求。期望联合学习在未来几年中将成为AI技术堆栈的重要组成部分。
文章插图
3、Transformer
我们已经进入了自然语言处理的黄金时代。
OpenAI发布的GPT-3是有史以来功能最强大的语言模型，今年夏天吸引了整个技术界。它为NLP设定了新的标准：它可以编写令人印象深刻的诗歌，生成有效的代码，撰写周到的业务备忘录，撰写有关自身的文章等等。
GPT-3只是一系列类似架构的NLP模型（Google的BERT、OpenAI的GPT-2、Facebook的RoBERTa等）中最新的（也是最大的），它们正在重新定义NLP的功能。
推动语言AI革命的关键技术突破是Transformer 。
在2017年具有里程碑意义的研究论文中介绍了Transformer 。以前，最新的NLP方法都基于循环神经网络（例如LSTM）。根据定义，递归神经网络按顺序显示数据，即按单词出现的顺序一次处理一个单词。
Transformer的一项伟大创新是使语言处理并行化：给定文本主体中的所有标记都是同时而不是按顺序分析的。为了支持这种并行化， Transformer严重依赖于称为注意力的AI机制。注意使模型能够考虑单词之间的关系，而不论它们之间有多远，并确定段落中的哪些单词和短语对于“注意”最为重要。
为什么并行化如此有价值？因为它使Transformers的计算效率大大高于RNN ，这意味着可以在更大的数据集上对它们进行训练。 GPT-3训练了大约5000亿个单词，由1750亿个参数组成，这使现有的RNN显得相形见绌。
迄今为止，由于GPT-3等的成功应用， Transformer几乎只与NLP相关联。但是就在本月，发布了一篇突破性的新论文，该论文成功地将Transformer应用于计算机视觉。许多AI研究人员认为，这项工作可以预示计算机视觉的新时代。（正如著名的ML研究人员Oriol Vinyals所说的那样， “我的观点是：告别卷积。 ”）
尽管像Google和Facebook这样的领先AI公司已经开始将基于Transformer的模型投入生产，但大多数组织仍处于将该技术产品化和商业化的初期阶段。 OpenAI已宣布计划通过API将GPT-3进行商业访问，这可能会为在其上构建应用的整个初创企业生态系统注入种子。

下一代人工智能的发展方向 （上）( 二 )

下一代人工智能的发展方向（上）( 二 )