傻大方


首页 > 潮·科技 > >

框架|上海交通大学过敏意:面向城市治理的图智能分析框架( 三 )



按关键词阅读:


扩展性需求:随着图规模和图计算服务的激增,需解决平台峰值负载问题。

可持续性需求:支撑高并发场景的图计算更符合集约高效、低碳环保的要求。
高并发图的图分析、图查询也延续到了一些人工智能算法,比如说现在做人工智能的技术处理,如果讲大模型,比如说GBT-3 1 751亿个参数跑一次训练,相当于一辆用油汽车跑70万公里,那么这对可持续发展、低碳环保非常不利。所以说图计算也是这样的,如果不断地进行图的迭代往复,如果算法不好,那么可扩展、可持续都不行,所以现在各大公司和云商像华为和阿里都对此非常重视,都自己开发了这方面的工具对图进行分析。我们有一个课题做国家重点研发计划现在也是做的图处理这方面的事情。
但是并发图计算不同于如今的线上数据密集型计算(如MapReduce),更不同于以往的高性能数值计算。
框架|上海交通大学过敏意:面向城市治理的图智能分析框架
文章插图
对并发图计算来讲,请求间和请求内的协同优化变得更重要
比如做并行计算时,以往的传统的并行计算比较规则,我从一个处理到下一个CPU的处理,通信是比较规则的。这边处理好以后,下一个通信基本上模式是一样的。但是并发图不一样,图的计算模式是不规则的,这个到下一个的并发处理有可能是A节点到B节点,下一个可能是C节点到D节点,模式是完全不一样的不规则的。
所以其中通信、优化和它的并发都和原来的高性能计算完全不同,因此比较具有挑战性。与数据密集型计算不一样,和高性能计算也不一样,即与以计算和数据为中心的都不一样,我们现在要强调以图为中心的计算。
并发图计算主要面临的瓶颈主要有以下三个。
(1)用户图计算请求主要有图管理、图分析。在图管理方面,已有较多并发性优化工作,比如说数据仓库、图查询等。但对图分析方面,比如管理查询不到结果以后怎么样能够对放到基层单元弄出决策来,这方面还缺乏研究,易成为性能瓶颈,所以说我们要做这方面的事情。
(2)并发图分析任务之间的不规则干扰,多个图算法并发执行时,会在时间与空间两个维度对处理器和内存等资源进行抢占,且干扰方式不规则,优化空间很大。
框架|上海交通大学过敏意:面向城市治理的图智能分析框架
文章插图

比如用户的要求各不相同,用户提出的请求也各不相同。这些图请求比如Pagerank、Kmeans等这些都是不一样的,那么具体到图的分割查询和内存的放置都可以以不同方式来进行模块放置,调度也不一样。所以这里的优化空间非常大,一个是复杂,一个是不规则的干扰。
(3)并发图分析与图查询任务间的协同。
框架|上海交通大学过敏意:面向城市治理的图智能分析框架
文章插图

请求还存在对同一块图数据的访问依赖问题,进一步提升并发图查询的效率对于释放并发图分析性能也至关重要。比如说有的要查询边,有的查询点,有的要查询整张图。对这些分割的任务,也就是并发来的任务,对一些子图的分割和综合又是一个非常复杂的问题。

4

对并发图分析的初期探索
(一)工业界项目概述
现在工业界对于图的分析、图的并发、图的查询非常重视,但是图拓扑属性分析现在还不多。Apache 上目前的开源图计算系统主要以图数据库管理为主,面向图拓扑属性分析的并发图管理系统还处于萌芽阶段。这是我们调查下来整个Apache Graph Systems的列表,大概就是这几十个:
框架|上海交通大学过敏意:面向城市治理的图智能分析框架
文章插图

相关链接:http://tinkerpop.apache.org/
(二)学术界研究总览
框架|上海交通大学过敏意:面向城市治理的图智能分析框架
文章插图

早期基本上关注的是图的请求,焦点主要是图查询。到2014年开始有并发图分析,然后多用户并发图比如图数据共享已经开始关注了;2017年提出多图多用户场景,但对图请求内部缺乏分析;到2018年对请求内部特征优化以及图并发的计算进行考虑。国内主要在做的高校是上海交通大学、华中科技大学、北京大学。
(三)上海交通大学做的一些工作
(1)图化治理任务的并发计算框架
框架|上海交通大学过敏意:面向城市治理的图智能分析框架
文章插图


稿源:(雷锋网)

【傻大方】网址:/c/1122a09642021.html

标题:框架|上海交通大学过敏意:面向城市治理的图智能分析框架( 三 )


上一篇:武汉东湖新技术开发区管委会|“星火?链网”超级节点(武汉)正式上线,开始向全球进行服务

下一篇:折叠屏|小米华为再度较劲,都将推翻盖折叠屏手机!三星却笑了