傻大方


三种记忆体
我们反思一下,人脑的智能计算或者科学计算是怎样的模式?生物学家和神经学家告诉我们,人的大脑有三种记忆体,第一个叫做瞬时记忆。我们可以眼观六路、耳听八方,在一个空间里可以瞬时感觉到这个空间里各种各样数据,这就是瞬时记忆。但如果我们没有对瞬时记忆的数据引起注意,这些信息就不会传给工作记忆体。
吴飞|浙大求是特聘教授吴飞:数据驱动与知识引导相互结合的智能计算
文章插图

瞬时记忆传给工作记忆体后,工作记忆体直接展开用因果智能计算的高层次数据活动,但这些高层次的活动并不是就事论事,就数据论数据,它会激活我们长期记忆里的先验和知识。比如,我们今天来到成都,中午和朋友聚餐;。我们在到达成都时,可能会回忆起上一次来成都干什么;和上次相比,成都有什么变化;朋友又发生了什么变化。我们经常讲弦外之音、话外之意,为什么别人讲话,我们能听出话外之意?这是因为工作记忆体激活了相关的信息来理解当前的数据。

3

数据驱动与知识引导相互而结合的人工智能时代
我们从这个过程已经深刻感觉到,对当前数据的理解,一定激活了其他信息,这种信息是一种潜在的信息,或者叫做common sense,即常识性信息,也有人把它称为暗知识,我们无法表达,机器也无法捕捉,但人的大脑可以很好地捕捉下来。既然人脑是这样的活动模式,现在的智能计算可否往这个渠道进行?
DeepMind 在 2016 年发表了一篇《神经图灵机》的文章,我们知道图灵计划就是两端无限长的纸袋,上面有非常多的方格,然后把数据放在纸袋上,数据驱动以写好的程序进行。这个过程没有利用到数据以外的信息。但神经图灵机架构起一个外在记忆体,对当前数据能更好地学习、理解和处理,以得到更好的学习成果。这篇文章发表后,Nature 期刊为其形成社论,称其为深度神经推理,而不是平常的推理机制。
现在我们也发现,只要有一个 x 算法,神经网络一定会把 x 算法变成一个 give 算法,或者一定想把它和认知或者神经结合起来,也就是不停地探索计算方式和方法,与我们大脑和心理认知如何更好地结合,这不是无病呻吟,而是沿着人脑的思路进行扩展。现在的计算一定要有数据,而且一定是数据驱动;亦即人工智能是引擎,大数据是燃料,一个模型空转转不起来。
第二,知识很重要。我们不能一味从数据里发现知识,一定要有知识指导计算过程。此外,行为探索也很重要,人毕竟是在一个开放的环境里进行认知与思考。所以,数据、知识、行为相互结合,是不是一种更好的计算模式?掀起新一轮人工智能浪潮使用的计算方法,AlphaGo 有深度学习、强化学习和蒙特卡罗树搜索三把利剑,而AlphaFold 则是图神经网络、注意力模型和物理建模相互结合。
吴飞|浙大求是特聘教授吴飞:数据驱动与知识引导相互结合的智能计算
文章插图

科学计算经过了三代发展,已经把数据和知识进行更好的探索。第一代是给定一个结构,然后去预测结构的性质;第二代是给定一些组成成分,去重建结构,然后基于重建的结构预测性质;第三代就是给定一堆数据,从给定的数据里繁衍结构,以及推理这个结构的性质,这是一个很重要的人工智能发展方向。
AlphaFold是 1972 年诺贝尔奖获得者的一个猜想。人体有非常多的氨基酸,氨基酸里编码了蛋白质,这些蛋白质不同的三维空间结构已经定义了我们生命的功能。那么,给定一段氨基酸,能否预测氨基酸所具有的三维空间结构?如果能预测,我们就编码了生命的功能。
今年8月份,《自然》杂志发表了一篇现在被称为 AlphaFold 的文章,《科学》杂志同时也发表了一篇叫做 Rose TTAFold 的文章。AlphaFold 和 Rose TTAFold 都非常强调 attention,即注意力,但这个“注意力”不是我们大脑的一种注意力,注意力是学习的输入和输出之间的一种关系。例如,给定一幅人脸图像,为什么要去预测这是一张人脸?一定是学习到的输入和输出之间存在一种关联,这个关联肯定是通过像素点复杂的空间模式挖掘出来的。如果现在输入一段氨基酸序列,去重演它的三维结构,是不是也是学一种叫做 attention 的关联?
这两篇文章有什么区别?Rose TTAFold 是美国华盛顿大学的一个实验室写的,它的第一作者非常坦白地承认 Rose TTAFold 的性能不如 AlphaFold,因为他们的实验室没有深度学习的工程师,只是一些生物学家拿着 Deep Learning 的工具写出来。但是 AlphaFold 不仅会利用工具,还会修改工具,比如,它可以对 Deep Learning 的一些结构进行修改和重新设计,因此其性能超越了 Rose TTAFold。


稿源:(雷峰网)

【傻大方】网址:/c/1201b0N22021.html

标题:吴飞|浙大求是特聘教授吴飞:数据驱动与知识引导相互结合的智能计算( 二 )


上一篇:ff|5.73亿!乐视大厦被神秘公司接盘 债权人:连讨债的地方都没了

下一篇:gen.g战队|iQOO新旗舰即将登场,官方表示有骁龙8 Gen 1加持


gen.g战队|iQOO新旗舰即将登场,官方表示有骁龙8 Gen 1加持

漫画|有一个喜欢背人的老公【情侣漫画】

世界观|假面骑士:处于同一个世界观,空我跟亚极陀却无交集,有何意义?

比比东|斗罗:99级千道流被比比东踩在脚下?天使雕像亮了,比比东真心狠

孩子|孩子智商究竟“随爹”还是“随妈”?真相也许跟你想的不太一样

父母|做不到这十点,别说你知道如何爱孩子

心理健康|优秀父母注意:一定不要在孩子面前做3件事,可能毁了孩子一生

引导|“先爬后走”的孩子,和“不爬就走”的孩子,长大后有这3个差别

用水冲|3岁孩子把石灰撒进眼睛里,妈妈不敢用水冲洗,事后医生骂无知

生分|为什么孩子更喜欢去奶奶家,而不是姥姥家?孩子的回答或很现实