功能|AWS发布三项全新的数据分析功能

北京2020年12月2日 /美通社/ -- 在亚马逊云服务(AWS)举办的年度盛会 -- AWS re:Invent上,AWS宣布了三项全新的数据分析功能,这些功能可以大幅提升Amazon Redshift数据仓库的性能,使客户在数据存储间的移动和合并数据变得更加容易,并且使终端用户更便捷地利用机器学习从业务数据中获得更多价值。

  • AQUA for Amazon Redshift 通过创新的硬件加速缓存,将计算能力带到存储层中,加速数据查询,提供比其它任何云数据仓库高达10倍的查询性能,该服务将于2021年1月全面上市。
  • AWS Glue Elastic Views 可帮助开发人员构建使用来自多个数据存储的应用。利用物化视图,自动在存储、数据仓库和数据库之间合并和复制数据。
  • Amazon QuickSight Q为Amazon QuickSight提供机器学习驱动的能力,使用户能够使用自然语言表达,在Amazon QuickSight Q搜索栏中提出业务问题,并在几秒钟内收到高度准确的答案。
当前,每小时创造的数据比20年前一整年所创造的数据还要多。事实上,未来三年创造的数据量将超出过去30年创造的数据量。以往的旧工具在当今这个新的数据世界中根本无法发挥作用。AWS客户针对不同的应用场景,推出了多种分析工具,包括用于无服务器式查询的Amazon Athena,用于搜索和可视化日志数据的Amazon Elasticsearch Service,用于处理实时数据流的Amazon Kinesis,用作数据仓库的Amazon Redshift,以及用于运行Apache Spark、Hive、Presto和其它大数据框架的Amazon EMR。这些服务为AWS客户提供了适合他们需求的工具。今天宣布的全新数据分析功能建立在这一基础之上,并为客户的所有数据存储提供更快、更具性价比、更易于访问的数据分析。要了解更多信息,请访问https://aws.amazon.com/big-data/datalakes-and-analytics/ 。
AWS分析业务副总裁Rahul Pathak说:“通过我们今天发布的功能,我们将为Amazon Redshift带来10倍以上的性能提升,提供新的灵活方式、轻松地在数据存储之间移动数据,客户可以在业务仪表盘中用自然语言提出问题,并在几秒钟内收到答案。这些功能将极大地提高客户在任何规模下获取数据价值的速度和易用性。”
Amazon Redshift AQUA(高级查询加速器)将计算能力引入存储层,提供比任何其它云数据仓库快10倍的查询性能。
功能|AWS发布三项全新的数据分析功能】Amazon Redshift自2012年推出以来,作为首个为云端构建的数据仓库,其成本仅为传统数据仓库的1/10,目前已经成为最受欢迎的云数据仓库之一。今年早些时候,AWS宣布推出Amazon Redshift RA3实例,允许客户分别扩展计算和存储,并提供比其它云数据仓库高3倍的性能。然而,即使有RA3实例提供的优势,快速增长的客户在数据仓库中需要处理的数据依然令客户在性能和成本效益扩展之间难以平衡。数据仓库的主流架构是大量的集中式存储数据需要被转移到等着处理数据的计算节点来进行处理。这种方法面临的挑战是,共享数据和计算节点之间有大量的数据移动。随着数据量持续快速增长,这种数据移动会使可用的网络带宽饱和、性能降低。除了网络瓶颈之外,CPU的发展也无法跟上存储能力的快速增长(SSD存储吞吐量的增长速度6倍于CPU从内存处理数据的能力的增长),这要么造成了其新的CPU瓶颈,要么迫使更多的客户过度配置算力、以便更快地完成工作。
AQUA for Amazon Redshift是Amazon Redshift的分布式、硬件加速缓存,这一创新可以提高新时代数据规模下的分析性能。AQUA将计算能力带到存储层,数据不必在两者之间来回移动。这使得Amazon Redshift的运行速度是其它云数据仓库的十倍。AQUA缓存可在众多节点上并行扩展和处理数据。每个节点都拥有一个由AWS设计的分析处理器组成的硬件模块,可大幅加快数据压缩、加密,以及扫描、聚合和过滤等数据处理任务。AQUA还为客户带来了额外的好处,即能够在原始存储上进行计算,节省了原本需要花费在移动数据上的时间。有了这一新的架构,以及它所带来的10倍以上的性能提高,Redshift的客户可以拥有更新的数据仪表盘,节省开发时间,他们的系统也更容易维护。AQUA的预览版现已向所有客户开放,AQUA将于2021年1月全面上市。AQUA可在Redshift RA3实例上使用,无需额外的费用,客户可以利用AQUA的性能改进,无需更改代码。要开始使用AQUA,请访问https://pages.awscloud.com/AQUA_Preview.html 。
AWS Glue Elastic Views让开发人员可以轻松构建物化视图,在多个数据存储中自动组合和复制数据
大多数公司都在建立或者已经建立了数据湖,他们可以通过正确的安全和访问控制,将来自各种孤岛的所有数据汇总起来,以便更容易进行数据分析和机器学习。但出于延时和运营的原因,大多数公司也可能在数据湖之外的专用数据存储中拥有越来越多的数据。随着这些数据湖和专用数据存储中的数据不断增加,公司需要更简单的方法来移动数据。