网易云服务存储系统|网易云服务突出开源分布式存储系统Curve 2020中国云服务行业市场前瞻

云服务
云服务是基于互联网的相关服务的增加、使用和交互模式 , 通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源 。 云是网络、互联网的一种比喻说法 。 过去在图中往往用云来表示电信网 , 后来也用来表示互联网和底层基础设施的抽象 。 云服务指通过网络以按需、易扩展的方式获得所需服务 。 这种服务可以是IT和软件、互联网相关 , 也可是其他服务 。 它意味着计算能力也可作为一种商品通过互联网进行流通 。
网易云服务分布式存储系统
近期 , 网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统 , 官方称其性能可达 Ceph 的 1.84 倍 。
据官方介绍 , Curve 的定位是提供一个高性能、低延迟的存储底座 , 基于这个存储底座 , 企业可以打造适用于不同应用场景的存储系统 , 如块存储、对象存储、云原生数据库等 。 目前 , 网易数帆已经实现了高性能块存储系统 。 根据项目文档介绍 , Curve 主要具有三大特性:高性能、高可用和自治 。
高性能:Curve 团队参考了业界一些高效的开源存储系统 , 设计了一个新架构以实现高性能低延迟的核心能力 。 采用 brpc 保证网络数据流的高性能和低延迟 , 基于 braft 实现多副本一致性下的低延迟 , 并对 braft 的快照实现进行了进一步的优化 。 磁盘 IO 方面 , Curve 通过更细粒度的地址空间的 hash 减少 IO 碰撞 , 增加 IO 并发度 , 并采用 chunkfilepool 减小 IO 放大倍数 , 从而最大限度地发挥硬件的性能 。
网易公布了 Curve 和 Ceph L 版本的测试数据对比 , 在单卷的场景下 , 核心的 4K 随机读/写的IOPS 性能 , Curve 分别是 Ceph 的 1.84 倍和 1.58 倍 , 同时延迟相比 Ceph 分别降低 48.39%和 37.50% 。
高可用:Curve 被设计为核心组件都能容忍部分实例失败而不影响整个集群的可用性 。 网易介绍 , 无论是单台存储故障 , 还是系统扩容 , Curve 的客户端 IO 都不会受到影响 , 插拔硬盘、服务进程中断这些常见异常 , IO 抖动也很小 。 当然 , 故障恢复过程对上层 IO 也不会造成明显影响 。
自治:Curve 可实现一键部署、一键升级 , 运维只要很少的人工干预 , 并基于 bvar、Promethues 和 Grafana等开源项目打造了全面的度量标准和告警体系 。
目前 , 基于 Curve 的高性能块存储系统已经应用在网易的一些核心业务中 , 支持快照克隆和恢复, 支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式 。 网易介绍 , 系统上线至今 400 多天 , 尚未出现数据不一致和丢数据的情况 , 也没有发生过重大故障 , 具备相当的可靠性和成熟度 。
网易透露 , Curve 目前还有一些创新的性能优化工作尚未完成 , 如细粒度哈希、io_uring 落盘方案 , 项目团队下一阶段的主要任务就是解决这些问题 , 预计完成优化之后下个版本还会有 30% 的性能提升 。
鉴于目前开源领域还没有足够高性能和低延迟的分布式存储系统 , 网易数帆方面表示希望把 Curve 开源出来 , 回馈社区 , 让业界一起来使用它 , 也希望大家一起参与把 Curve 打造得越来越好 。
中国云服务行业市场规模
根据中研产业研究院《2020-2025年中国云服务行业市场前瞻与未来投资战略分析报告》
显示:
报告显示 , 中国AI云服务市场2019年市场规模达1.66亿美元 , 2018至2024年CAGR将达到93.6% , AI能力已成为用户进行云服务选型时的重要考量因素 。
AI云服务市场最近2年保持高速增长 , 2019年 , 中国AI公有云服务占AI软件市场规模约10.3% , 美国AI软件公有云服务占AI软件市场规模约15.6% 。 无论是相对于整体软件市场中公有云服务占比 , 还是相对于美国市场AI公有云服务占比 , 中国AI云服务都将有很高的增长空间 。
从产品数量来看 , 当前领先的云服务厂商大都在公有云上提供了丰富的AI能力 。 从统计数据来看 , 百度智能云、阿里云开放的能力最为丰富;从2019年市场份额来看 , 在AI公有云服务市场规模中 , 百度智能云市场份额最为领先 , 其次是阿里云 , 腾讯云 , 其他厂商则包括AWS、华为云、微软Azure、金山云、京东云等 。
随着AI渗透到企业的核心业务 , 应用场景会越来越分散 , 越发需要技术和应用上的不断创新和突破 。 对于AI云服务市场本身的竞争 , 2020年之后会更加激烈 , 尤其是第一梯队的厂商之间的竞争 。
更多产业研究专业分析关注中研产业研究院《2020-2025年中国云服务行业市场前瞻与未来投资战略分析报告》