OpenAI核心人员集体离职创立新公司：人均大神，融资1亿多美金只为“初心”( 三 )

比如，我们知道一个神经网络的参数量越大、泛用性似乎就越强，但无法解释某几个参数之间的关系到底是什么，进行怎样的调整会导致输出结果怎样变化；再比如，我们知道偏见在社会中客观存在，也必然会投射到社会资料聚合而成的数据集当中，而为数据集是 AI 系统带有偏见的重要原因，但除了低效地改善数据集之外，我们对于消除 AI 系统的偏见暂时别无他法。
Amodei 接受美国媒体 Vox 旗下 Future Perfect 采访时表示， AI 研究人员应该增加对机器学习系统内在工作原理的了解，并且用这些知识来开发更安全的系统，而不是执迷于“放卫星”似的盲目开发越来越大的神经网络。
为什么呢？举个例子：深度学习有一个经典的激励“扭曲”现象，比如你想让机器 agent 走出迷宫，设计分数（豆子）激励它——结果它执迷于获得更高的分数，遍历了每一条错误的路，吃掉了所有的豆子，却从未将走出迷宫当作真正目标。
当神经网络变得更大、更强，如果中间出现了某种主观或客观导致的激励扭曲，它真正做的事情和它的设计初衷之间的差距只会越来越大，应用在现实场景中，有可能导致严重后果。
如果我们能够获得一种工具，能够更清楚直白地了解神经网络的工作原理，知道如何调整网络的哪个部分，能够避免此类情况，对于接下来的 AI 进步将有很大帮助。所有研究者都希望掌握这个工具，但问题就在于，我们现在并没有这样的工具。
而 Anthropic 的任务就是开发出这样的工具，并把它送到更多 AI 研究者的手上。
明星创始团队+投资人去年年底从 OpenAI 离职的核心员工当中就包括 Dario Amodei 和他的同胞姐妹 Daniela 。 LinkedIn 资料显示，他们于今年2月创办了 Anthropic 公司， Dario 任 CEO ， Daniela 任总裁。
Dario是 OpenAI 的早期员工之一，曾发表多篇 AI 可解释性、安全等方面的论文，离职前在 OpenAI 担任研究 VP 。在此之前， Dario 还曾在百度担任研究员，在前首席科学家吴恩达手下工作。他博士毕业于普林斯顿大学，后回到本科毕业的斯坦福大学担任博士后学者。他是 OpenAI 的前核心成员，也被认为是深度学习领域最为前沿的研究员之一。

本文插图
Dario 的胞妹 Daniela Amodei 之前也在 OpenAI 从事和 Dario 相同方向的工作，曾担任安全和政策 VP 。 Daniela 过往的任职经历包括 Stripe（其创始人是 OpenAI 投资人之一）、美国国会等。

本文插图