周伯文对话斯坦福教授曼宁：人机对话智能新进展需要新「图灵测试」( 四 ) (导语)6 月 22&

周伯文表示:「近来,我常被问到一个问题,在如今的云计算+AI时代,研究人员和学者如何跟上?」

据了解,2019年底,京东整合云计算、人工智能、物联网业务资源,形成京东云与AI事业部,并于3月5日面向技术服务领域推出全新的「京东智联云」品牌。在刚刚过去的京东618,京东智联云提供了全面、稳定、安全、可信赖的技术保障,成为京东618的技术基石,并秉持着「成为最值得信赖的智能技术提供者」的愿景,对外输出更多、更好、更融合、更场景化的技术与服务。

目前云服务在商业公司中的布局已日趋成熟。那么在斯坦福大学,教授们是怎样平衡增量创新与理论创新的?研究者们是如何使用算力的?

「近年来我们的工作方式有了很大变化。在20年前,大学里才有最大的超级计算机、最快的网络。但在最近这些年里,情况有了翻天覆地的变化——现在算力都在商业公司那里了,」曼宁说道。

如何解决算力不足的问题,每所大学都有不少思路,最直接的方式就是购买数量有限的,当前最顶配的GPU,让很多博士生共用以满足80%时间的需求。「我想这是很多大学都在使用的方法,如果你的实验室里有20名博士生,这要比每人配置一台机器节省三倍成本,」曼宁表示。「现在我们构建起了小型集群,斯坦福NLP实验室有15名研究者,我们有大约100块GPU 。你看,这不是一个很大的数字。」

另一个思路就是和京东智联云这样的科技公司合作,在一些需要更多计算的研究中,斯坦福也在购买云端算力。

每年冬天,曼宁都会亲自为斯坦福NLP大课CS224N授课。这门课可以吸引500名学生,他们的作业都需要使用CPU、GPU来训练模型,而所有学生在课程期间的算力需求是大学负担不起的。因此,斯坦福接受业界的捐赠。

----周伯文对话斯坦福教授曼宁：人机对话智能新进展需要新「图灵测试」//----

周伯文对话斯坦福教授曼宁：人机对话智能新进展需要新「图灵测试」。(图注)斯坦福的自然语言处理课程CS224n与计算机视觉课程CS231n齐名,是AI领域最具影响力的公开课程之一。

最后,研究方向也是个问题。「让模型越来越大可能在最近五年可以实现很大的进展,但在下个十年就不一定了,」曼宁说道。「我们现在可以构建出更大的模型,然后发出论文。但这个对于基础方向的研究没有什么帮助。未来5-7年里可能会出现一个窗口,最聪明的研究者可以用普通电脑和GPU构建出SOTA模型,打败大公司的巨大模型。」

「但未来也有可能不是这样,看看其他行业,如果你是个机械工程的PhD,你肯定没法上来就盖世界最高的摩天大楼,如果你是个航空工程学生,你肯定不会试图造一架比波音还好的飞机。你需要做的是寻找新的想法。」

研究学者需要更加注重于寻找具有开创性的新想法,并提出原型。举个例子:机器学习领域里的Dropout,其实是在很小的数据集上首次实践的。

构建可信赖的AI:可解释性和真实世界的鲁棒性

最近一段时间,周伯文曾在多个不同场合表达了对于可信赖AI(TrustworthAI)的看法,并指出可信赖的AI将是智能经济未来10年的新原点。