按关键词阅读:
扩展性需求:随着图规模和图计算服务的激增,需解决平台峰值负载问题。
但是并发图计算不同于如今的线上数据密集型计算(如MapReduce),更不同于以往的高性能数值计算。
文章插图
比如做并行计算时,以往的传统的并行计算比较规则,我从一个处理到下一个CPU的处理,通信是比较规则的。这边处理好以后,下一个通信基本上模式是一样的。但是并发图不一样,图的计算模式是不规则的,这个到下一个的并发处理有可能是A节点到B节点,下一个可能是C节点到D节点,模式是完全不一样的不规则的。
所以其中通信、优化和它的并发都和原来的高性能计算完全不同,因此比较具有挑战性。与数据密集型计算不一样,和高性能计算也不一样,即与以计算和数据为中心的都不一样,我们现在要强调以图为中心的计算。
并发图计算主要面临的瓶颈主要有以下三个。
(1)用户图计算请求主要有图管理、图分析。在图管理方面,已有较多并发性优化工作,比如说数据仓库、图查询等。但对图分析方面,比如管理查询不到结果以后怎么样能够对放到基层单元弄出决策来,这方面还缺乏研究,易成为性能瓶颈,所以说我们要做这方面的事情。
(2)并发图分析任务之间的不规则干扰,多个图算法并发执行时,会在时间与空间两个维度对处理器和内存等资源进行抢占,且干扰方式不规则,优化空间很大。
文章插图
文章插图
现在工业界对于图的分析、图的并发、图的查询非常重视,但是图拓扑属性分析现在还不多。Apache 上目前的开源图计算系统主要以图数据库管理为主,面向图拓扑属性分析的并发图管理系统还处于萌芽阶段。这是我们调查下来整个Apache Graph Systems的列表,大概就是这几十个:
文章插图
文章插图
早期基本上关注的是图的请求,焦点主要是图查询。到2014年开始有并发图分析,然后多用户并发图比如图数据共享已经开始关注了;2017年提出多图多用户场景,但对图请求内部缺乏分析;到2018年对请求内部特征优化以及图并发的计算进行考虑。国内主要在做的高校是上海交通大学、华中科技大学、北京大学。
(三)上海交通大学做的一些工作
(1)图化治理任务的并发计算框架
文章插图
稿源:(雷锋网)
【傻大方】网址:/c/1122a09642021.html
标题:框架|上海交通大学过敏意:面向城市治理的图智能分析框架( 三 )