人工智能和对象存储,能擦出什么样的火花?( 二 )

  对象存储特点

  不过 , 我们需要注意的是 , 文件存储和对象存储有着各自适用的场景 。 下图列出了分布式文件存储和分布式对象存储的区别:


人工智能和对象存储,能擦出什么样的火花?

----人工智能和对象存储 , 能擦出什么样的火花?//----

  分布式文件存储与分布式对象存储的区别

  当文件数量级过亿的时候 , 文件目录树形结构会对数据的读写造成巨大的挑战 , 例如在linux中如果用ls查看文件 , 可能都要等待几十分钟以上 。 但是 , 量级没有如此之大时 , 因为过去的使用习惯 , 以及相对成熟的生态 , 使用文件存储还是不错的选择 。

  如何避免错误理解对象存储

  当我们谈对象存储时 , 需要注意讨论的是存储接口 , 还是内部数据组织形式 。

  1)实际上 , 讨论对象存储大多数是指存储接口 , 是否支持RestFul或S3 , 也即对象接口的形式来访问存储空间 。

  2)少数情况下 , 对象存储指存储设备的内部数据组织形式 。 在数据猛增的背景下 , 越来越多的存储设备内部采用对象存储的这种内部数据组织形式 。 例如VMware vSAN , 其实是是一种基于服务器端存储的共享分布式对象存储系统 , 只不过存储接口主要采用的是SCSI方式;或者具备高可靠、高性能、高安全和易管理的浪潮AS13000 , 如下图 。


人工智能和对象存储,能擦出什么样的火花?

----人工智能和对象存储 , 能擦出什么样的火花?//----

  浪潮AS13000G5的对象存储功能

  AI与对象存储

  在许多人的印象中 , AI需要大量的算力 , 是计算密集型的典型应用 。 而对象存储大多时候用于海量非结构化数据的存放 , 备份归档 , 云存储、企业云盘、文档影像或视频的存储等 。 从存储特征来看 , 对象存储的延迟可能较难满足AI的性能需求;从使用习惯来看 , 大多数AI用户都是采用文件接口 。

  实际上 , 有计算 , 就会有存储 , 只是或多或少 , 或快或慢 , 或过渡或长期保存的区别 。

  在微信公众号浪潮存储《2020:下一个十年 , 存储发展的趋势是什么》上篇也即鉴往事篇 一文中 , 曾提到:

  AI所需存储 , 可以分为准备、训练、推理和归档等阶段 , 每个阶段的IO特征不一样 , 对于存储的要求也不一样 。 例如 , 在推理阶段 , IO的特征是读写混合 , 并且要求存储的延时低 , 能快速响应 。

  下图列出了AI各个阶段的IO特征 , 及其对存储的要求 。