唐代诗人卢纶,有一首脍炙人口的《和张仆射塞下曲》,“月黑雁飞高,单于夜遁逃。欲将轻骑逐,大雪满弓刀。”诗中的慷慨激昂,热血炙烈,千年来让无数国人心魂激荡。
时代变迁,岁月迁移,今天我们所期望听到的热血故事或许不在现实世界,而是在数字山野的轻骑追逐中,在核心科技的发展竞赛里。
《数字中国建设整体布局规划》中,明确提出了构筑自立自强的数字技术创新体系,为关键核心技术突破发展指明了方向。在核心科技自立自强中,越来越多的“欲将轻骑逐,大雪满弓刀”的故事正上演着。
5月24日,在德国汉堡举办的ISC(国际超算大会)期间,更新了最新一期的IO榜单,这是国际最权威的存储性能排行榜。在IO极为重要的10节点榜单中,华为OceanStorPacific分布式存储全面刷新了世界纪录。尤其惊人的是,华为OceanStorPacific的总得分超过了13万分,是上届冠军得分的15倍之多。
在世界纪录背后,在华为OceanStorPacific分布式存储霸榜背后,蕴藏着存储镇守数字经济大国重器的支柱意义,也蕴藏着中国存储从跟随走向领先的全球化趋势。
一纸榜单背后,是一份对数字山河的守候,是一场轻骑绝尘的突围。
数字时代,半壁江山
想要讲清这个故事,首先需要了解一个背景:HPDA为什么重要?以及面向HPDA场景的分布式存储为什么价值非凡?
首先HPDA是由HPC(HighPerformanceComputing高性能计算)发展而来。HPC是一种数据分析的应用场景。其通过聚合大量的计算和存储单元对数据进行分析,从而解决复杂问题。从基因测序到芯片制造,从油气勘探到航空航天,再到我们生活中的天气预报、影视特效渲染,都离不开HPC作为计算底座。
总之一句话,HPC是现代社会发展的计算基石。所以有人笑称,《三体》里的外星人要想遏制人类科技,其实不用那么麻烦,不让人类用HPC就行了。
随着HPC性能与技术的不断进步,人类能够在固定时间内分析更多数据,与之相伴的,我们也会保存更多数据给HPC场景,用来挖掘数据背后的价值。
随着相关数据量的指数级增长,HPC领域逐渐认识到提升数据分析能力、革新数据分析机制的重要性。将AI、大数据等技术分析手段与HPC结合,是更高效实现数据价值的新形式,即HPC、AI、大数据融合而成的HPDA(HighPerformanceDataAnalytics)。
根据相关数据,到年间,HPDA类应用的年增长速度达到了15.4%,HPC-basedAI类应用的年化增速更将达到29.5%,远高于传统HPC的7.8%。由于HPDA事关国计民生,与国家的科技创新能力、科技自立自强水平紧密相关,HPDA已在全球范围内被认为是未来科技发展的战略高地,被称为占据数字时代的半壁江山。
一项技术的快速增长,往往会给配套设施带来挑战。HPDA的快速发展,就给存储产业带来了巨大的升级需求。随着数据量从PB级向EB级演进,存储成本日益增高。高性能计算量的持续增加,以及大数据、AI能力的加入,又对海量数据()的多次提取、流转、读写、存储能力提出了更高的要求。
因此面向HPDA的分布式存储,正在承载越来越多的目光和声量。有人认为,谁掌握了HPDA存储,谁就能掌握尖端科研的未来。
但现实情况是,中国在发展适配HPDA场景的分布式存储过程中,正遇到一系列问题。
比如说,中国目前仍然有75%的数据存纳于机械硬盘之中。相对于闪存盘,机械硬盘容量密度低,数据读取慢,能耗高,可靠性差。相对来说,闪存介质几乎没有缺陷,尤其更适合HPDA场景这种对性能与时延异常敏感的工作负载。
在目前阶段,“磁退硅进”已经成为存储产业发展的核心趋势。比如全国人大代表、华中科技大学计算机科学与技术学院院长冯丹教授就提出,需要加快发展中国技术创新的,以半导体全闪存技术为核心的下一代存储技术标准体系。为此,要抓住全球存储介质升级、存储架构跨代演进窗口期,尽快完善中国自身的数据存储、数据保护、安全评测等关键标准体系建设。
在各个企业级存储相关领域中,以HPC、HPDA场景为代表的分布式存储全闪存替换任务更加急迫。好在,华为分布式存储已经开始行动,推进面向全闪存的一系列改造。比如说,本次IO霸榜的华为OceanStorPacific分布式存储,就是采用了全闪存机型。未来分布式存储的全闪化已经是确定性的产业走向,面向这个趋势,从产业侧到应用侧都应该加速分布式全闪的替换进程。
一件毋庸置疑的事就是,即便前路漫长,中国分布式存储全闪存替换是大势所趋,发展全闪分布式存储已经刻不容缓。
再者,适配高性能计算的Lustre分布式文件系统已经明显落后。Lustre1.0早在年发布,随后得到了一系列欧美IT企业与美国能源部的认可,逐渐形成了谈起HPC,就无法绕开Lustre的局面。但事实上,Lustre在适配HPDA的过程中已经展现出了架构落后、磁盘碎片化问题严重、性能瓶颈明显、安全能力不足等短板。
在受目前外部环境未知的干扰下,对于存储这样承载着科技明珠HPDA的关键基础设施,逐渐实现自主可控也是当务之急。
综合来看,占据数字时代半壁江山的HPDA,亟需自主创新、实力绝群的存储力量来加持。
十分幸运的是,它来了,伴着“地表最强”的称号走来了。
定海神针,霸榜之路
IO是HPC领域最具影响力的世界级存储排行榜,被称为“存储界的诺贝尔”。其主要针对存储系统的性能进行评测与排名,综合考察了带宽性能(GiB/s)和元数据性能(kIOP/s)两大部分。其中10节点榜单统一了计算规模,把基准性能测试的计算节点限制至10个,能够更全面、更准确地反映出存储在日常应用中的实际表现,备受全球HPDA领域用户