人工智能和对象存储,能擦出什么样的火花?( 三 )
----人工智能和对象存储 , 能擦出什么样的火花?//----
AI各个阶段的IO特征及存储需求
综合考虑用户使用习惯、性价比、性能和容量 , 如果能够取得一个平衡的话 , 对象存储能够用在AI的多个不同阶段中 , 如提取、准备、训练、归档等 。
NVIDIA收购SwiftStack用来做什么呢?
首先 , 我们来看一下做为事实上的标准的AWS S3 , 从骨子里说 , 它代表的对象存储 , 是一种在线的海量数据较低成本的存储方式 , 适合跨地域读写;因此 , 虽然备份归档是对象存储的使用场景之一 , 但只是做备份归档 , 其实是委屈了对象存储 。
其次 , 对象存储的高并发 , 特别适合前端呈现分布式负载的场景 。 AI场景的使用 , 包括AI训练、AI推理 , 是由许许多多个任务并发进行的 , 任务与任务之间几乎没有数据的交互 , 因此很少考虑存储通常要顾及的写一致性 。
因此 , 在我们看来 , NVIDIA收购SwiftStack或许有如下几个原因:
人工智能和对象存储,能擦出什么样的火花?。 1)NVIDIA欲整合AI基础架构
NVIDIA是一个非常注重生态的公司 , 它的版图里应该不仅仅是计算以及衍生出来的各个组件 , 从近两年的动作来看 , NVIDIA想整合整个AI基础架构 。 2019年3月11日NVIDIA以69亿美元收购 Mellanox;2020年3月6日宣布收购SwiftStack 。
2)SwiftStack具备数据跨云管理和高并发的优势
据报道:"Manuvir Das表示 , NVIDIA尤其喜欢SwiftStack的1space技术 , 该技术可以为忙于处理缓存和分层等任务的GPU助一臂之力 。
SwiftStack V7于2019年发布 , 提供数PB的规模 , 可处理数千个worker节点同时访问数据的任务 。 它提供了超过100GB /秒的吞吐速度 , 性能和容量都能实现线性扩展 。
1space是NVIDIA收购Swiftstack的主要原因 , 这是一种文件连接件 , 使云原生应用程序可以通过S3或Swift对象API访问本地数据或AWS数据 , 并可以确保不断向数据提供计算资源”
我个人认为 , AI训练有个特点 , 它一次性将原始训练集的数据加载到计算节点的内存或者SSD后 , 需要经过一段较长的时间(也即计算或说训练) , 才会再次读取存储上的数据 。 因此 , 对象存储的延迟可能不会构成障碍 , 这一点可以通过高并发来弥补 。
3)还可将SwiftStack用于数据提取 , 或者数据归档阶段 。 海量的数据 , 采用对象存储是一个不错的选择 。
4)维护原有使用习惯
NVIDIA内部大量使用SwiftStack来存储数据 , 几年下来 , 习惯已经养成 , 而且猜测数据量也非常庞大 。 通过收购SwiftStack , 以免未来受人制肘 , 也是有可能的 。
无论如何 , 对象存储在云计算和AI迅猛普及的情况下 , 一定会迎来它的春天 。 IDC中国SDS市场数据显示 , 2019年对象存储增长率55.3% , 是中国软件定义存储市场里增速最快的细分领域 。
- 湖南省人工智能产业联盟每日AI报0510
- 掘金界参与主,5月8日,由全球领先的人工智能平台公司商汤科技SenseTime
- 埃尔法哥哥人工智能与人类的未来
- AI途人工智能时代:AI“创作”的著作权归属
- 社教分享事儿自食其果!日本加入索赔行列?选择对象是西方国家
- 前瞻产业研究院2020年中国人工智能行业市场规模及竞争格局分析:百度夺得数桂冠【组图】
- 大科技杂志社想说爱你不容易,人工智能
- 眷诚法务人工智能的法律主体资格分析
- c114通信网1.4亿!新华三首次中标中国移动人工智能通用计算设备集采
- Hornet黄蜂您在日常生活中使用的10个人工智能示例