傻大方


首页 > 潮·科技 > >

些机构|存放海量数据太费钱?科学家们找到了新方法



按关键词阅读: 英特尔

文/IT创事记 祁萌
这些年在科学界,国际顶级机构一直在做着同一件事,那就是为他们持续增长的海量数据找到价格更便宜的存身之处。现在,他们中的一些说:找到了。
些机构|存放海量数据太费钱?科学家们找到了新方法
文章插图
些机构|存放海量数据太费钱?科学家们找到了新方法】由于已经受益于此,在他们的合作伙伴希捷把这个“秘密”——CORTX,一款独立于硬件的100%开源对象存储软件——推向市场的时候,这些机构很乐意地站了出来,并对它表达了赞赏。
法国原子能和替代能源委员会(CEA)和英国原子能机构(UKAEA)都是CORTX未发布前,就已经采用了它的早期用户。
CEA项目经理Jacques-Charles Lafoucriere,和UKAEA的百万兆级算法专家Debasmita Samadder博士用“强大”、“灵活”、“高效”和“新颖”等词汇去描述了他们眼中的CORTX。
这些机构用它来支持超大规模的数据存储,实现并行文件系统接口(pNFS)和分层存储管理工具等。
兼容TensorFlow等人工智能和深度学习 (AI/DL) 工具也是他们的关注点——这些国际顶级机构永远都会站在科技的最前沿。事实上,CORTX的用例非常广泛,除人工智能和机器学习,还包括了混合云、边缘、高性能计算等领域。
那些机构负责人对CORTX的高度赞赏有着很高的可信度,因为这些机构中的一些已经不满足于仅仅是去使用它了。
“CORTX将降低EB级数据的存储成本。”洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)高性能计算部门负责人Gary Grider断言。他们已经决定参与到CORTX协作开源社区中去。目前,CORTX已经可从GitHub下载,以及协作开发。
些机构|存放海量数据太费钱?科学家们找到了新方法
文章插图
希捷科技全球副总裁暨中国区总裁孙丹:通过生态协作,CORTX将使超大规模存储架构更为普及。
除了用户,整个科技生态对CORTX的兴趣也都相当浓厚。
英特尔很清楚开源创新在高性能存储领域的价值。英特尔数据平台事业部副总裁Bryan Jorgensen认为,它将推高未来数据时代中云、高性能计算、人工智能和通信网络等的性能水平。
目前英特尔已计划在CORTX社区内结合相关的平台功能,包括英特尔傲腾持久内存、英特尔QuickAssist加速器,和DAOS文件系统,以共同实现和优化这一开源技术。
全球知名的文件系统提供商WekaIO也表达了同样的意愿。WekaIO人工智能和战略联盟负责人Shailesh Manjrekar描绘了一个未来——在参与到CORTX开源项目开发中后,市场将可以利用创新的Weka AI解决方案框架,创建端到端解决方案:通过WekaFS提供卓越性能,而CORTX提供容量和耐用性。
在中国市场,目前已有8家希捷的客户以及合作伙伴——新华三集团、同有科技、宏杉科技、UIT创新科、五舟科技、鲸鲨软件、极道科技以及柏科数据等,决定将就CORTX开源软件与开源社区与希捷展开合作。
这个开源社区是在希捷发布CORTX时一同发布的。同时发布的还有一个可作为融合基础架构部署的参考架构Lyve Drive Rack。
些机构|存放海量数据太费钱?科学家们找到了新方法
文章插图
这个参考架构可以让用户部署CORTX并构建自己的大容量私有云——Lyve Drive Rack的机箱容量由1.34PB起。希捷在Datasphere峰会上展示它时,它的盘位上插满了20TB HAMR硬盘。希捷消息称,这款大容量硬盘计划在12月开始供货。
这是希捷布局开源对象存储软件的目的之一。大容量硬盘已经为云服务商降低了成本,但它远没有到普及到程度。
受限于软件实力,并不是每个想要用好海量数据的企业用户,都能享受到它的好处——硬盘容量越大,I/O性能就会下降,这需要用户有一定的优化能力对系统进行调优。
“谷歌、百度和腾讯等互联网和云计算企业,会第一时间使用我们的大容量硬盘,”希捷科技全球副总裁暨中国区总裁孙丹说,“因为他们通过采用大容量硬盘获得了商业价值。”
要知道,当今天的云服务商已经使用16T硬盘的时候,传统企业才部署到8T。
希捷相信免费和开源的CORTX能解决这一难题。在推出它之前的数年间,“希捷已经为此写出了百万行代码”,希捷科技中国区资深解决方案工程师李蓁说,考虑到未来人工智能、机器学习会是未来数据领域当中主流的应用,希捷已经在设计之初,专门针对AI以及机器学习做了调优。
“我们在CORTX上面有一个内置的内存键值,通过这种设计,用户可以直接在CORTX上对数据进行标注,同时可以进行非常高效的检索。”李蓁说。Lyve Drive Rack上还设置有一颗专用芯片,它可以降低在使用纠删码的时候所需配置的内存——这达到了降低部署成本的效果。


稿源:(就要买买买)

【傻大方】网址:http://www.shadafang.com/c/111J2Q132020.html

标题:些机构|存放海量数据太费钱?科学家们找到了新方法


上一篇:机器人|每小时抓取1800次 青岛这家“跨界”机器人企业不一般

下一篇:IMG|Imagination推出多核IMG Series4 NNA