CSDN如何释放海量数据价值?华为云大数据之道深度解读( 二 )


【CSDN如何释放海量数据价值?华为云大数据之道深度解读】
据悉 , 华为云FusionInsight智能数据湖包含MRS大数据、GaussDB(DWS)数据仓库、GES图计算、DAYU数据运营等多款强大的云服务 。
其中 , 华为云FusionInsight MRS大数据、GaussDB(DWS)数据仓库 , 可以为用户在数字化转型中构建坚实的数据底座 , 并通过HetuEngine数据虚拟化引擎简化用数、提高效率 。
同时 , 为标准化多样性数据 , 一站式数据运营平台DAYU向下可接入日志、文本、视频、音频、图片等各类型数据 , 基于多样性算力与CarbonData实现全局一份数据的统一格式存储;向上为伙伴开发50+数据集成开发API , 使能数据 , 携手800+生态伙伴打造各行业应用 。
除了强大的产品之外 , 华为云FusionInsight智能数据湖方案之所以在业界备受推崇 , 关键还在于行业龙头的核心场景中得到了充分验证 。 据悉 , 华为云FusionInsight相关产品已经应用于全球60个国家及地区 , 服务于3000+个客户 , 拥有800多家合作伙伴 , 广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业 。
以工商银行为例 , 数据在银行等金融机构的作用日趋突出 , 工商银行作为一家世界级的商业银行 , 一直致力于探索数据驱动的金融服务新模式 , 有着大量基于数据的应用创新 。 华为云FusionInsight智能数据湖帮助工商银行构建起大数据云平台 , 很好地解决了工行大数据全场景生态化应用的存储、算力和算法挑战 , 支撑起工行企业级数据湖、数据仓库、集团信息库建设 , 推动工行数据智能服务由事后快速演进到事前、事中阶段 , 大幅加快了各项金融服务的创新速度 。
GaussDB(DWS):十年磨一剑的新数仓
数据仓库在大数据时代正在面临着巨大变革 。 随着数据规模越来越庞大、数据类型越来越丰富 , 以及数据实时分析需求越来越高 , 传统数据仓库已经无法应对各个行业对于数据分析的需求 。
比如 , 以前数据仓库对接的数据源主要来自于企业内部的交易数据 , 而如今除了内部交易数据之外 , 企业希望数据仓库的数据源更加多元化 , 比如对接行为数据、CRM数据、财务数据等等 。 数据源的大幅增加 , 也使得数据量正在暴增 , 这对于数据仓库的架构、性能、稳定性都是极大的考验 。
像数据仓库在大集群上经常会面临挑战 , 也即随着集群规模越来越大 , 数据仓库对于资源占用、连接占用呈现出指数级的增长 , 会带来端口占用、资源占用等一系列问题 。 要想解决这些问题 , 新一代数据仓库必须在架构上就实现突破 。 比如 , 在本次华为云TechWave 大数据专题日活动上 , 华为云GaussDB(DWS)新一代全场景云数据仓库就带来了全新的思路 。
作为十年磨一剑的新产品 , 华为云GaussDB(DWS)新一代全场景云数据库拥有以下特点:
首先 , GaussDB(DWS)从架构源头上采用了Share-Nothing无共享的分布式架构 , 突破了大规模通信、大规模集群管理等一系列的数据仓库大集群关键技术 , 支持单集群PB级以上的数据容量 , 设计规格最大可扩展至2048个节点 , 支持PB级别数据容量 , 在从小集群规模逐步扩展到大集群规模过程中 , 随着节点数增加 , 集群的性能和容量线性增长 , 线性加速比>0.9 。
其次 , GaussDB(DWS)采用了全并行计算的架构 , 支持多个物理节点并行计算 , 在一个物理节点中支持多个CPU核心并行计算 , 在一个CPU核心的指令序列中支持SIMD指令 , 实现一个指令同时操作多条数据 , 充分聚合海量算力资源 。 同时 , GaussDB(DWS)实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术 , 带来了高效的指令效率 , 在海量的算力资源和高效的指令效率的双倍加速下 , 数据仓库数据导入和分析速度都大幅领先 。 例如 , TB级数据分钟级导入、百亿行数据的关联分析秒级响应等都已经在实际案例中得到实现 。