文章插图

大家可以反思一下，今后的人工智能一定是来自不同领域的工程师一起协作，这也预测着李国杰院士说的为什么人工智能上不了天、落不了地，因为要解决场景的任务，一定要和场景的工程师，以及 Deep Learning 的专家结合起来。按照李院士的说法，就是要把领域的知识和数据，在 Deep Learning工具之下更好地结合，他把它称为正在呈现的第五范式。
2020年3月份，李院士受命撰写中国工程院有关人工智能的特刊，我是咨询副主编。特刊发表时，编辑部的同事让我们画封面文章，我和一位年轻老师先用铅笔画，只有人脑和机器脑结合起来才会形成这种学会学习能力。人的大脑一定是稀疏的，虽然人脑据说有 400 亿个神经元，但完成任务时只有一小部分的神经元被激活，所以人脑一天只有 25 度电。而 AlphaGo Zero 经过了 2900 万次的训练，能战胜所有的 AlphaGo，它的耗电量几乎等于洛杉矶一年的耗电量。
人的大脑很复杂，但在完成某个任务时一定是稀疏的，而机器脑一定是密集的 ，比如机器的进化速度服从摩尔定律，每18个月性能就提升一倍。一个稀疏的人脑和一个稠密的机器脑结合，恐怕就是迈向人机耦合获得数据驱动和人的知识相互结合的时代。这期期刊还邀请了一些专家撰写文章，比如潘院士认为人工智能的下一步就是多重知识表达。今年的 CAAI 年会上有一期分论坛就叫做视觉知识的表达，把知识表达好，可能是下一步人工智能迈进的正确方向。
朱松纯老师也受邀写了一篇文章，以此回答他认为的“机器大脑是大数据小任务，人的大脑是小数据大任务”。但是，小数据大任务不是只给一点数据就能学复杂的任务，一定是在大任务的构建之下。只有小数据，如何完成大任务的训练？知识在其中起了很重要的作用，这里的知识不只是旧数据，可编码的知识、可感知的知识、暗知识以及常识性的知识一定也参与了大脑的智能活动。朱老师的这篇文章的标题也很吸引人，叫《“暗”，不止于“深”——迈向认知智能与类人常识的范式转换》。

文章插图

我们最近在做一些数据驱动与知识引导的工作，首先这里的知识肯定是领域知识。如果是维基百科或百度百科的知识，把高中生都懂的知识放到神经系统的模式里，也许能改进神经系统的学习性能，但和领域知识相比，作用力而言要小一点。我举两个例子，第一个例子是司法的智能化学习，这里有两个案例都给出了一些司法数据。第一个案例，法院认定了一些事实，原告要求法院判定他的一些事实是成立的；第二个案例，法院认定了一些事实，原告要求法院在这些认定事实的基础上，判决原告的一些诉求是成立的。但在一些真实的案子里，原告有些诉求被驳回，有些则被法院认同。
那么，什么情况下原告的诉求会被法院认同，什么时候会被驳回？能不能把司法知识和这样的数据结合起来，形成数据驱动和知识引导相互结合的神经网络的学习方法？我们提出了数据驱动和知识引导相互结合的方法，数据由神经网络 co-attention network 去学，由数据驱动学习出数据模式，再加以 legal knowledge，即一阶编码的司法知识，两者结合起来以加强原告诉求的判断。把一些司法领域的知识通过一阶位置编码利用起来，与数据驱动进行结合，在一些数据集上进行了测试。
第二个例子叫做 video caption，主要是想解决一段短的 video clip 怎么得到更好的文本描述，主要和阿里达摩院合作。因为阿里要让用户点击商品，必须要把商品所对应的视频用文本描述出来。如何自动生成这种文本描述？我们引入了一个商品属性的知识图谱，通过图神经网络学习得到不同的纸袋之间的空间分布，再通过卷积神经网络学习得到一个像素点的空间分布模式，然后把这些知识结合起来，是不是能够生成一种更具广告效应的文本描述？
把数据和视觉知识结合后，能不能把一些外在的记忆体也引进来？正如刚刚讲的话外之意和弦外之音，不能只针对 video 理解 video，video 里一定有一些高级语义或属性触发了外在记忆体里的知识，加以利用这种知识更好地做视觉信息的分析与处理。再进一步，引入因果知识的关系，去除伪相关的关联，

文章插图

例如，一个吉他手穿着T恤弹吉他，也许弹吉他的人都喜欢穿T恤，本来弹吉他和穿什么衣服没有因果关系，但由于数据选择的偏差，选择的这些场景，吉他手都穿了T恤，结果系统错误地认为，T恤和吉他有关联。这有点像因果学习中，我们常说的公鸡打鸣和太阳升起的例子，公鸡打鸣和太阳升起好像有因果关系，因为公鸡一打鸣太阳就升起。但如果有一天，把全世界的公鸡都杀死，太阳照样升起，它们之间是一种伪关联，这种关系影响了我们学习的效果。如何消除T恤和吉他手的这种关联，用统计分析的关联学习，会说乐器和衬衫之间的关联达到6%，但是引入因果的话，可以把这种伪关联去掉。

稿源：(雷峰网)

【傻大方】网址：/c/1201b0N22021.html

标题：吴飞|浙大求是特聘教授吴飞：数据驱动与知识引导相互结合的智能计算( 三 )