中国|中国提出的AI方法影响越来越大,天大等从大量文献中挖掘AI发展规律( 七 )


此外,我们还对 2005 年由 CCF corpus 中原始文献提出的 Large margin nearest neighbor (LMNN) 方法和 2018 年由 CCF corpus 中原始文献提出的 Transformer 方法从传播到其他文献开始,两年内在数据集上的应用情况进行了对比,如图 11 所示。
由图 11 可知,Transformer 在 2018 年被提出后,2018 年和 2019 年被应用在了很多不同数据集上。然而 2005 年被提出的 LMNN,在 2006 年才开始被其他文献引用,应用在不同的数据集上。并且,我们还可以明显看出,Transformer 从传播到其他文献开始,两年内在数据集上的应用数量和种类要远多于 LMNN。这也反映出随着时间的发展,方法在数据集上的传播速度越来越快。
a) LMNN 2006 年(内圈)和 2007 年应用的数据集。
中国|中国提出的AI方法影响越来越大,天大等从大量文献中挖掘AI发展规律
文章插图
b) Transformer 2018 年(内圈)和 2019 年应用的数据集。
Figure 11:有效方法应用的数据集,中间的红点表示方法。内圈和外圈由许多数据集点组成,在数据集点中,点的大小表示该方法应用的数据集的数量,不同数据集点的颜色表示不同的研究场景。
4.2.2 在国家间的传播
本节对有效方法在国家间的传播进行了分析。我们将国家 c 提出的所有有效方法的集合定义为M_c,。在 y 到 y+△y 时间区间内,有效方法由国家 c 到国家 c’ 的传播程度的计算如公式 9 所示。
其中为在 y 到 y+△y 时间区间内,在实验章节引用了 m 的 c’ 国论文集合。为在 y 到 时间区间内,在方法介绍章节引用了 m 的 c’ 国论文集合, 。
基于公式 9,我们以 5 年为一个阶段,对 2005-2009 年、2010-2014 年、2015-2019 年有效方法在国家之间的传播程度进行了计算。每个阶段排名前十的国家之间有效方法传播程度如图 12 所示。
中国|中国提出的AI方法影响越来越大,天大等从大量文献中挖掘AI发展规律
文章插图
Figure 12:2005 年到 2019 年,有效方法在国家之间的传播程度的 top10。
从图 12 可以看出,有效方法在 2005-2009 年更多地从美国、法国和英国传播到其他国家。相对而言,中国提出的有效方法传播程度较低。在 2010-2014 年,中国提出方法的传播程度逐渐增大,并且到了 2015-2019 年,中国提出方法对美国的传播程度跃到了第四位。反映出中国的 AI 发展越来越好。相反,法国提出的方法在 2005-2014 年传播程度比较大。而到了 2015-2019 年,法国提出的方法的传播程度排到了十名以后,反映出近几年法国的 AI 发展相对较慢。
4.3 路径图和研究场景的结果
本节介绍了方法的路径图和关于研究场景簇的分析。
4.3.1 方法路径图的案例研究
我们对知识图谱中的知识表示学习和生成对抗这两个常见的方法类进行了分析。利用我们提出的路径图生成算法对'Trans' 簇和'GAN' 簇内的方法路径图进行了绘制。
图 13 是'Trans' 簇中的方法路径图。经与 Ji 等人 [9] 发表的文献内容核对,'Trans' 簇中的方法路径图包含上述论文提到的 76% 的知识表示学习算法,同时也包含一些与知识表示学习相关的方法。例如:GMatching 和 KGE 是图嵌入方法,HITS 是链接分析方法。
此外,由图 13 可以直观看到每个方法的提出时间,例如:TransE 在 2013 年提出,TransH2014 年提出。同时,我们可以看到 TransE 方法节点的出度最大,一方面说明很多方法比如 CTransR、RTRANSE 等是从 TransE 方法受到启发,进而拓展出新方法。另一方面,也说明 TransE 是代表性知识表示学习方法,很多新提出的知识表示类方法常与其进行对比。此外,从图中,我们也可以看出'Trans' 簇中的方法使用的数据集情况。
中国|中国提出的AI方法影响越来越大,天大等从大量文献中挖掘AI发展规律
文章插图
Figure 13:'Trans' 簇中方法的路径图,图中点的颜色表示年份,点的大小表示出度,线的颜色表示数字代表的数据集。
图中数字表示路径 MiMj 中 Mi 和 Mj 进行对比时使用的数据集,具体为:1: WIKILINKS2: WIKILINKS;WN;FB3: WordNet;FB;WN;Freebase4: ClueWeb5: Family6: FB;WN7: Freebase;NYT;YORK8: WordNet;Freebase;WN9:null10: RESCAL;WordNet;WN11: Freebase12: WordNet;Freebase13: ClueWeb;WN14: FB;WN15: WordNet;FB;WN;Freebase16: FB;WN17: null18: KG;ImageNet;WN19: null20: DBpedia21: FB;WN22: WN;YAGO;WNRR23: WNRR;HIT;MR
24: Wikione;NELLone;NELL25: WNRR;WN26: WordNet;WN27: WordNet;Freebase;WN28: YAGO
中国|中国提出的AI方法影响越来越大,天大等从大量文献中挖掘AI发展规律
文章插图
Figure 14:'GAN' 簇中方法的路径图,图中点的颜色表示年份,点的大小表示出度,线的颜色表示数字代表的数据集。
图中数字表示路径 MiMj 中 Mi 和 Mj 进行对比时使用的数据集,具体为:1: Face;NIST;SVHN;CelebA2: CUB(CU Bird);Oxford Flower;Oxford3: CUB(CU Bird);MPII Human;Caltech;MHP(Maximal Hyperclique Pattern)4: ILSVRC;SVHN5: ImageNet6: NIST;CIFAR;ImageNet7: NIST8: CelebA9: NIST;CIFAR;SVHN10: BLUR;LSUN;SVHN;CIFAR;Noise;CelebA;LSUN Bedroom11: NIST;SVHN;CIFAR12: Google;LSUN;LSUN Bedroom13: Google14: NIST;LSUN;CIFAR;CelebA;LSUN Bedroom15: CUB(CU Bird);Oxford16: NIST;CIFAR17: LSUN;CIFAR;LSUN Bedroom18: ImageNet;COCO19: NIST;SVHN;LSUN;CelebA;LSUN Bedroom20: LSUN;CelebA;LSUN Bedroom21: null22: NIST;LSUN;CIFAR;CelebA;LSUN Bedroom23: NIST;SVHN;CIFAR24: poem;Chinese Poem25: CONFER26: null