傻大方


首页 > 潮·科技 > >

存储|做计算和存储的中间层,「Alluxio」用"缓存机制"提高企业调取数据的效率( 二 )



按关键词阅读: 微信 特约 白名单 收款 条码 央行 商户 支付宝 数字货币 收款码


此外,由于各种存储方式的价格、不同地域对数据的管理政策不同,现在很多企业不会只局限于在一种云服务上,企业的数据就会分散在不同地区或者不同种类的数据存储服务中。从不同的存储服务中调取数据,难免会存在一个“翻译”的过程,Alluxio在该过程中起到了一个翻译官的作用,可以支持用户使用不同技术栈及访问接口,而无需关心究竟底层使用了何种数据存储服务,从而让数据流动更加透明和高效。
无论企业的数据平台位于本地、公有云、还是混合云的环境,无论使用什么样的技术栈,Alluxio都可以让任何的计算对存储实现高性能的访问。通过把Alluxio部署在数据平台里,企业可以灵活地测试和实施新技术,从而保持敏捷性和竞争力。
李浩源告诉创业邦,“我们行业的演进主要来自整个社会和各行业数字化进程的驱动。由于社会和行业都更加数字化,数据越来越多,基于数据的存储、数据分析、机器学习等各式各样的产品在增加,导致出现了一个分割的数据世界和复杂的数据平台,也就直接导致了数据调取的低效。”
Alluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置,从而不仅能够更容易被访问,还可以达到内存级的访问速度。同时,Alluxio还实现了应用程序能够通过一个公共接口连接到许多存储系统。
11月18日,Alluxio宣布正式发布其数据编排平台2.7版本,2.7版本通过并行数据加载、数据预处理和训练工作流,可将机器学习(ML)训练的I/O效率提高8-12倍,从而降低企业调取数据的成本。2.7版本还提供了更强的性能分析功能,能更好地支持Apache Hudi和Iceberg等开放表格格式,使得对数据湖的访问更易于扩展,实现了Presto和Spark的数据分析能力的提速。
李浩源针对此次的2.7版本表示,“Alluxio 2.7版本进一步巩固了Alluxio在云上人工智能、机器学习和深度学习方面的重要地位。随着数据集的增长以及CPU和GPU计算能力的增强,机器学习和深度学习已成为AI主流技术。这些技术的兴起推动了AI的发展,但也凸显了数据和存储系统访问中存在的一些挑战。”
当前,Alluxio的合作伙伴超过九成都是世界五百强企业,其所开创的数据编排技术已经在不同垂直领域的国内外头部公司被广泛应用,其中不乏诸如Facebook、Amazon、腾讯、阿里巴巴、百度、联通在内的行业巨头。全球十大互联网公司中有八家已经在生产环境中部署了Alluxio。
腾讯大数据平台研发负责人陈鹏表示,“随着越来越多的大数据和AI应用容器化,作为加速数据分析和模型训练的中间层,Alluxio正在成为大型企业和机构的首选。”
从行业的角度来看,Alluxio的客户中,渗透率最高的是科技行业,排在第二的是金融行业,第三是电信行业,第四是基因制药行业。李浩源表示,出现这样一个排序的原因在于当一个行业数字化进程越深,Alluxio的软件价值就越高,渗透率就会越高,自然而然使用的客户就会越多。
值得一提的是,今年,在中国信通院发布的第二批32家开源供应商名录中,Alluxio凭借Alluxio云端数据编排平台、Alluxio加速器和Alluxio虚拟数据湖,成功跻身云计算、中间件和大数据三大产品类型的开源供应商。
鉴于“开源开放”有助于推动我国数字化转型和数字经济发展,“开源开放”已被列入我国十四五规划和2035年远景目标。
在此背景下,今年,Alluxio 宣布将大力拓展国内市场业务,将北京设立为中国区总部,并成立本地化的研发团队,以快速响应并满足众多国内企业的个性化需求,以及推动扎根于中国的开源社区运营、治理和推广,与行业一同搭建可信开源生态链,在国内建设一个可持续发展的开源社区。Alluxio在其开源软件Alluxio的基础上进行封装,未来,要向企业级客户持续提供丰富的应用场景,并不断升级其软件服务。
存储|做计算和存储的中间层,「Alluxio」用"缓存机制"提高企业调取数据的效率


稿源:(创业邦)

【傻大方】网址:/c/112EL2122021.html

标题:存储|做计算和存储的中间层,「Alluxio」用"缓存机制"提高企业调取数据的效率( 二 )


上一篇:白名单|微信、支付宝个人收款码将不能用于经营收款,路边摊怎么办

下一篇:OPPO|OPPO成为新的拍照夜视仪,RGBW有多强?或许是比华为RYYB更完美的技术