轻骑逐单于，大雪满弓刀：华为分布式存储的一骑绝尘

2023-06-11 09:35:42来源：脑极体微信号

唐代诗人卢纶，有一首脍炙人口的《和张仆射塞下曲》，“月黑雁飞高，单于夜遁逃。欲将轻骑逐，大雪满弓刀。”诗中的慷慨激昂，热血炙烈，千年来让无数国人心魂激荡。

时代变迁，岁月迁移，今天我们所期望听到的热血故事或许不在现实世界，而是在数字山野的轻骑追逐中，在核心科技的发展竞赛里。

《数字中国建设整体布局规划》中，明确提出了构筑自立自强的数字技术创新体系，为关键核心技术突破发展指明了方向。在核心科技自立自强中，越来越多的“欲将轻骑逐，大雪满弓刀”的故事正上演着。

(资料图)

5月24日，在德国汉堡举办的ISC 2023（国际超算大会）期间，更新了最新一期的IO500榜单，这是国际最权威的存储性能排行榜。在IO500极为重要的10节点榜单中，华为OceanStor Pacific分布式存储全面刷新了世界纪录。尤其惊人的是，华为OceanStor Pacific的总得分超过了13万分，是上届冠军得分的15倍之多。

在世界纪录背后，在华为OceanStor Pacific分布式存储霸榜背后，蕴藏着存储镇守数字经济大国重器的支柱意义，也蕴藏着中国存储从跟随走向领先的全球化趋势。

一纸榜单背后，是一份对数字山河的守候，是一场轻骑绝尘的突围。

数字时代，半壁江山

想要讲清这个故事，首先需要了解一个背景：HPDA为什么重要？以及面向HPDA场景的分布式存储为什么价值非凡？

首先HPDA是由HPC（High Performance Computing高性能计算）发展而来。HPC是一种数据分析的应用场景。其通过聚合大量的计算和存储单元对数据进行分析，从而解决复杂问题。从基因测序到芯片制造，从油气勘探到航空航天，再到我们生活中的天气预报、影视特效渲染，都离不开HPC作为计算底座。

总之一句话，HPC是现代社会发展的计算基石。所以有人笑称，《三体》里的外星人要想遏制人类科技，其实不用那么麻烦，不让人类用HPC就行了。

随着HPC性能与技术的不断进步，人类能够在固定时间内分析更多数据,与之相伴的，我们也会保存更多数据给HPC场景，用来挖掘数据背后的价值。

随着相关数据量的指数级增长，HPC领域逐渐认识到提升数据分析能力、革新数据分析机制的重要性。将AI、大数据等技术分析手段与HPC结合，是更高效实现数据价值的新形式，即HPC、AI、大数据融合而成的 HPDA（High Performance Data Analytics）。

根据相关数据，2017 到 2023 年间，HPDA类应用的年增长速度达到了15.4%，HPC-based AI 类应用的年化增速更将达到 29.5%，远高于传统HPC的7.8%。由于HPDA事关国计民生，与国家的科技创新能力、科技自立自强水平紧密相关，HPDA已在全球范围内被认为是未来科技发展的战略高地，被称为占据数字时代的半壁江山。

一项技术的快速增长，往往会给配套设施带来挑战。HPDA的快速发展，就给存储产业带来了巨大的升级需求。随着数据量从PB级向EB级演进，存储成本日益增高。高性能计算量的持续增加，以及大数据、AI能力的加入，又对海量数据(603138)的多次提取、流转、读写、存储能力提出了更高的要求。

因此面向HPDA的分布式存储，正在承载越来越多的目光和声量。有人认为，谁掌握了HPDA存储，谁就能掌握尖端科研的未来。

但现实情况是，中国在发展适配HPDA场景的分布式存储过程中，正遇到一系列问题。

比如说，中国目前仍然有75%的数据存纳于机械硬盘之中。相对于闪存盘，机械硬盘容量密度低，数据读取慢，能耗高，可靠性差。相对来说，闪存介质几乎没有缺陷，尤其更适合HPDA场景这种对性能与时延异常敏感的工作负载。

在目前阶段，“磁退硅进”已经成为存储产业发展的核心趋势。比如全国人大代表、华中科技大学计算机科学与技术学院院长冯丹教授就提出，需要加快发展中国技术创新的，以半导体全闪存技术为核心的下一代存储技术标准体系。为此，要抓住全球存储介质升级、存储架构跨代演进窗口期，尽快完善中国自身的数据存储、数据保护、安全评测等关键标准体系建设。

在各个企业级存储相关领域中，以HPC、HPDA场景为代表的分布式存储全闪存替换任务更加急迫。好在，华为分布式存储已经开始行动，推进面向全闪存的一系列改造。比如说，本次IO500霸榜的华为OceanStor Pacific分布式存储，就是采用了全闪存机型。未来分布式存储的全闪化已经是确定性的产业走向，面向这个趋势，从产业侧到应用侧都应该加速分布式全闪的替换进程。

一件毋庸置疑的事就是，即便前路漫长，中国分布式存储全闪存替换是大势所趋，发展全闪分布式存储已经刻不容缓。

再者，适配高性能计算的Lustre分布式文件系统已经明显落后。Lustre 1.0早在2003年发布，随后得到了一系列欧美IT企业与美国能源部的认可，逐渐形成了谈起HPC，就无法绕开Lustre的局面。但事实上，Lustre在适配HPDA的过程中已经展现出了架构落后、磁盘碎片化问题严重、性能瓶颈明显、安全能力不足等短板。

在受目前外部环境未知的干扰下，对于存储这样承载着科技明珠HPDA的关键基础设施，逐渐实现自主可控也是当务之急。

综合来看，占据数字时代半壁江山的HPDA，亟需自主创新、实力绝群的存储力量来加持。

十分幸运的是，它来了，伴着“地表最强”的称号走来了。

定海神针，霸榜之路

IO500是HPC领域最具影响力的世界级存储排行榜，被称为“存储界的诺贝尔”。其主要针对存储系统的性能进行评测与排名，综合考察了带宽性能(GiB/s)和元数据性能(kIOP/ s)两大部分。其中10节点榜单统一了计算规模，把基准性能测试的计算节点限制至10个，能够更全面、更准确地反映出存储在日常应用中的实际表现，备受全球HPDA领域用户关注。

综合来看，IO500在目前阶段就是最具公允性与说服力的存储性能榜单。一方面，经过多年发展，其颁布结果和行业价值已经得到了全球数字化产业的承认。另一方面，IO500榜单的测试非常客观、科学，其提供了严苛的标准化性能测试套件，确保结果可信。值得一提的是，IO500榜单有着公允的测试人员配置与学术监督机制，避免了不少榜单受地缘因素影响，恶意打压他国产品技术等现象。

在这样的存储领域最高舞台上，华为OceanStor Pacific分布式存储以一骑绝尘的姿态，完美刷新了纪录。其通过模拟不同的I/O应用模型，历经12项苛刻的场景测试，整体达到了2400 GiB/s的带宽与770万 kIOP/ s的元数据性能。打破IO500纪录十数倍的霸榜行为背后，可以仰望到华为OceanStor Pacific的技术成果在业界铸就了又一座丰碑。这座丰碑像一枚定海神针，在数字山河荡气回肠。

十年磨一剑，一朝试锋芒。成功霸榜之前，华为分布式存储已经用了十年时间深耕细作，累积深厚技术，不断创新。从这次IO500总览星图中就可以看到，从总体得分、带宽性能、元数据性能等五个维度来看，华为OceanStor Pacific全面实现了“五边形战士”的成就，没有一处短板，没留下任何空缺。难怪有人说，这次IO500出炉，让全球看到了华为存储藏不住的王者实力，看到了中国存储崛起的必然性。

快马加鞭，实力斐然

那么我们自然有必要刨根问底，看看华为OceanStor Pacific究竟是如何实现这些成绩的？

俗话说，天下武功，唯快不破，对于存储来说也是如此，快就意味着性能优势，意味着提升了HPDA的工作效率与数据分析能力。为了追求这个快，华为采取了不断精进的四层加速架构，这也被称为华为存储独有的“多维度加速”体系：

1.应用加速：面向HPDA为代表的数据密集型应用，华为分布式存储业界唯一的应用感知DataTurbo加速引擎，通过融合数据格式、近数据处理和特征处理算子卸载加速等技术，实现了HPDA生态应用性能的倍增，提升了应用处理效率。

尤其针对HPDA愈发密集、愈发不可或缺的大数据环节，华为统一了数据湖和数仓内的文件格式，并优化了元数据结构，创新性地在存储侧为计算引擎开启缓存能力，实现了效率60倍的提升，让数百PB数据的查询时间缩减至10秒。

2. 算法加速：通过独创的SmartBalance全均衡设计，华为可以实现对数据类型和I/O流的智能感知，从而能够提升HPDA业务混合负载的处理效率。这不仅兼顾了CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈，更解决了HPC多流程跨系统的数据迁移、数据膨胀问题。

3.网存加速：华为OceanStor Pacific通过自主创新的网络芯片支持RoCE，同时支持RDMA和IP的访问能力。在同时支持带宽、IOPS等不同类型的业务时，可以智能调整网络的相关参数，大幅降低不同存储节点间的数据交换时延。

4.架构加速：与陈旧的Lustre开源分布式文件系统架构相比，华为分布式存储带来了全对称式分布式架构。据测评，Lustre的非对称设计会导致在7对MDS时出现性能瓶颈，并且网元部件众多而导致IO路径漫长。与此不同的是，华为OceanStor Pacific的全对称架构打破了元数据瓶颈，性能可以随容量实现绝对的线性增长。

此外，与Lustre对负载的单一路径读写、覆盖写模式不同，华为OceanStor Pacific采用智能IO路径选择与Append-Only模式，避免长时间运行导致的磁盘碎片化问题，实现动态混合IOPS性能提升20%。

不仅如此，相比Lustre自身无冗余保护，纯粹依赖底层SAN阵列的RAID保护的安全模式，华为OceanStor Pacific凭借软硬一体的稳定深度可信协同，满足跨节点冗余保护，支持最大4节点故障业务不中断。

通过四大维度的全面技术创新，华为实现了分布式存储的“快马还需一鞭”，比想象中更快一步。这些技术创新点的叠加产生了一种化学反应，让华为OceanStor Pacific的性能远超业界竞品，做到了这样一句武侠小说里的形容——真正的强大，是没有对手的。

龙城飞将，家国守候

与大家想象的不同，华为分布式存储并非远在天边，其所带来的价值就在我们的城市中，就在我们的生活里，就在科技自立自强的披星戴月中。

比如说，山东的朋友应该都对济南超算非常了解。国家超级计算济南中心，是科技部批准成立的千万亿次国际超级计算中心之一，目的是为打造超级计算的高性能数据分析HPDA平台，从而支撑学术攻坚，赋能透明海洋、类脑计划、基因组学、人工智能、新药创新等领域的大科学计划、大科学工程的实施。

这样一个重要的平台，在存储资源搭建过程中却也遇到了一系列问题。比如说以文件存储为主的HPC平台、AI平台，与以对象存储为主的云平台，存在严重的数据孤岛，最大的难题是不同平台间的数据流动。并且，存储资源的相互抢占，会导致原本充沛的算力无法发挥，整体系统效率不高。

峰回路转，华为OceanStor Pacific分布式存储有效地解决了这些问题。通过结合数据流动软件，华为分布式存储帮助济南超算打造了超算领域首个最大规模的数据流动平台，其可支持打通数据流动，促进数据跨域创新，助力济南超算中心打造数据密集型超算。在我们为济南超算、中国超算自豪时，似乎也应该记得军功章有华为OceanStor Pacific的一份。

华西医院，是四川朋友非常了解的一家医疗机构。除了强大的医疗能力，华西还肩负着科研探索、引领西南地区生物医药事业发展的重任。其中，华西生物医学大数据中心是华西医院的健康医疗大数据研究与应用开放共享平台，其推进的大规模全基因组分析，以及临床成果转化，是华西生物医学大数据中心的重要探索方向。

想要满足华西在基因领域的数据存用，也有着一系列挑战。基因测序产生的数据容量普遍达到了TB级别，对数据存储提出了挑战。华为OceanStor Pacific分布式存储，为华西医院提供了更高性能的存储底座，实现了200倍存储性能提升，全基因组分析流程时间从传统的24小时缩短到了7分钟。

都说21世纪是基因的世纪，在认识我们自己前，首先需要妥善的存储作为探秘基因工程的起点，华为OceanStor Pacific分布式存储再次守护成功。

由此不难看出，华为OceanStor Pacific既是数字中国的守护者，也是数字中国的加速器。它默默守护着科技创新、前沿探索，帮助每一座城市在超算的时代里熠熠生辉。

目前阶段，华为分布式存储在欧洲、中东、拉美和亚太的关键业务场景均实现了大规模突破，达到了2022年全球二级存储收入排名第二的成绩，在总份额中占比25%，并保持着18%的增速。从国内来看，华为分布式存储连续六年市场第一，占比高达48.2%，同时在海外，华为分布式存储也受到广泛认可，份额达到25%，在文件与对象存储上的收入增速高达50.8%。

未来，我们应该会看到华为存储出现在更多的榜单上，欲将轻骑逐，大雪满弓刀，越来越多的数据中心、实验室、工厂、农田里，将上演以存储定未来的故事。

尤其在这个时代，华为OceanStor Pacific折桂IO500还有一重独特的意味。这重意味，可以用一句边塞诗来表达：但使龙城飞将在，不教胡马度阴山。

标签：