数据库管理越来越复杂,有没有更简洁统一的解决方案?

现在有各种各样的数据管理系统来存储与管理数据:关系型数据库、NoSQL数据库 , 文档数据库、Key-value数据库 , 对象存储系统等等 。 形态多样的数据管理系统为企业组织在管理数据上带来便利的同时 , 随之而来的是管理与充分利用这些数据系统存储的数据的难题 。
【数据库管理越来越复杂,有没有更简洁统一的解决方案?】数据分析师想要分析某一种数据管理系统的数据 , 为了对不同数据源进行联合查询 , 那么就得在应用程序逻辑中使用不同的客户端去连接不同的数据源 , 整个分析过程架构复杂 , 编程入口多 , 系统集成困难 , 这对于涉及海量数据的数据分析师而言这样的分析过程十分痛苦 。
今天 Gitee 推荐的这款开源项目就是针对解决这个问题而生 , 它就是数据虚拟化引擎 openLooKeng 。
项目名称:openLooKeng
项目作者:openLooKeng
开源许可协议:Apache-2.0
项目地址:
项目简介openLooKeng是一种"开箱即用"的引擎 , 支持在任何地点(包括地理上的远程数据源)对任何数据进行原位分析 。 它通过SQL 2003接口提供了所有数据的全局视图 。 openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持 , 为企业工作负载提供了所需的可靠性 。
openLooKeng用于支持数据探索、即席查询和批处理 , 具有100+毫秒至分钟级的近实时时延 , 而无需移动数据 。 openLooKeng还支持层次化部署 , 使地理上远程的openLooKeng集群能够参与相同的查询 。 利用其跨区域查询计划优化能力 , 涉及远程数据的查询可以达到接近“本地”的性能 。
数据库管理越来越复杂,有没有更简洁统一的解决方案?文章插图
应用场景

  • 高性能的交互式查询场景
  • 跨源异构的查询场景
  • 跨域跨DC的查询场景
  • 计算存储分离的场景
  • 快速进行数据探索的场景

数据库管理越来越复杂,有没有更简洁统一的解决方案?文章插图
项目特性
  • 专为海量数据设计的内存计算框架
openLooKeng 具有 SQL on Hadoop 的分布式处理架构 , 采用了存储与计算分离的设计理念 , 可方便的实现计算或存储节点的水平扩展 。
  • ANSI SQL2003语法的支持
用户使用openLooKeng语法进行查询时 , 无论底层数据源是RDBMS还是NoSQL 或者其他数据管理系统 , 借助openLooKeng的Connector框架 , 数据可以依然存放在原始的数据源中 , 从而实现数据“0搬迁”的查询 。
  • 多种多样的数据源 Connector
openLooKeng针对这些数据管理系统开发了多种多样的数据源Connector , 包括RDBMS , NoSQL , 全文检索数据库 。 openLooKeng可以通过这些多样的Connector方便的获取到数据源数据 , 从而进一步进行基于内存的高性能联合计算 。
  • 跨域跨DC的DataCenter Connector
通过这个新Connector可以连接到远端另外的openLooKeng集群 , 从而提供在不同数据中心间协同计算的能力 。
  • 高性能的查询优化技术
openLooKeng在内存计算框架的基础上 , 还利用动态过滤、算子下推等多种查询优化技术来满足高性能的交互式查询的需要 。
参与共建openLooKeng 目前也在期待广大对大数据感兴趣的开发者们一起加入到 openLooKeng 开源社区中 , 如果你想要看看它的代码长什么样 , 那么就点击下方了解更多去项目主页看看吧 。