3 月 23 日,在曙光举办的技术圆桌派上,来自业内的多位专家就数字化转型与分布式存储发展趋势展开了深入讨论。

支撑海量数据

分布式存储该如何应战

步入数字经济时代,无论是产业数字化还是数字产业化,都为存储的发展带来了更好的机遇。

伴随着云计算、大数据、物联网等信息技术的快速发展,以及传统产业的数字化转型,新技术的应用与推广带来了海量数据的规模化聚集。用户对存储系统的稳定性、性能和弹性扩展能力有着更高的期待。而传统集中式存储“烟囱式”的部署模式在扩展性和管理上遇到了非常多的挑战。

从用户需求层面进一步分析,海量数据激增导致了存储在空间扩展上面临瓶颈;多场景、多类型的数据需要多种协议来支持;未来的存储系统必须支撑多样化的应用。

“ 2021 年,分布式存储和云存储在销售量和销售额方面的增速分别达到 30% 和 20% ,相较于传统存储的 20% 和 8% ,分布式存储远胜于传统存储。”赛迪顾问业务总监高丹分析了 2021 年存储市场格局。

“面对海量爆发的数据,以前传统集中式的存储已经不是最优选了。”中科曙光存储事业部副总经理张新凤表示,“对分布式存储本身来说,破解海量数据存储难题,也是有非常多的挑战。”

如何应对?首先,就是解决海量数据的存储。海量存储不简简单单的设备堆叠,技术难度是指数级增长的。要看厂商是否有丰富的超大部署规模和实施经验。其次海量数据存储是否能对 5G 、 AI 、区块链等新技术有更好的支持。这就需要统一协议的支持,打通从数据的采集、应用、分析到归档的链路,做到异构数据的融合。最后,针对用户的实际应用,在产品性能和功能上做到深度定制。

自研优势尽显

曙光分布式存储领跑市场

“存储是一个需要很深的技术积累和很大资金投入的市场。曙光推出的产品是自研的。自研路线无论是从客户节约成本的角度,还是从安全的角度来说,都是一条比较好的技术路线。”高丹表示。

“曙光做存储,一开始就选择了分布式存储路线。”张新凤介绍, 2009 年,曙光推出了第一代全自主研发的分布式存储系统 ParaStor ,基于 POSIX 协议,在做数据处理的时候有很好的性能体验; 2013 年,数据中心已经开始比较规模化的部署,这时我们完成了对 NAS 共享的支持; 2019 年,基本各个行业都在普及云化,我们为了解决业务上云的问题,又推出分布式块协议;现在,曙光分布式存储系统 ParaStor 完成了对文件、块、对象和大数据协议的支持,基本覆盖所有应用场景。

在分布式存储的研发和应用方面,曙光的优势主要体现在:基于十年自主研发的积累,能够更快地把握市场趋势,推出满足用户应用需求的产品,且在产品功能和性能指标上具备核心优势;具有超大规模分布式存储系统部署经验,通常可以支持 5000 个节点,甚至更大规模的部署;能够提供按需定制的服务,满足用户的个性化需求。

助力产业数字化转型

曙光成就最佳实践

“分布式的应用越来越广泛,但细化到具体的应用场景,又会发现应用需求是千差万别的。”面对当前分布式存储多样化的应用需求,张新凤表示,“要快速响应市场需求,推出合适的产品。首先要有强有力的团队支撑,其次是对行业的深耕和理解。基于以上两者的优势,我们面向用户推出了定制化的产品及运维服务。”

自研的曙光分布式统一存储系统 ParaStor ,原生融合文件、对象、块、 HDFS 存储协议,一套存储可轻松应对“ 5G+AI+ 云”时代下海量数据的多样化应用需求,高效助力企业的数字化转型。 ParaStor 可广泛应用于先进计算、气象预报、 EDA 、自动驾驶、遥感测绘、能源勘探、视频监控等领域。

张新凤介绍,在某科研机构气候模拟和科学研究项目中,为了帮助用户解决业务流程时间过长的问题,曙光集结专业研发团队为客户定制加速技术。在计算和存储节点之间,配备了大内存和高速 NVMe 的性能加速节点,把大量 4K 非对齐 IO 在这个节点上先做聚合,再到存储上面。最后用户实测使用性能提升 8 到 10 倍。“对存储技术有了一定的积累,对应用有深入的理解,才能迅速抓住用户需求的痛点,快速响应。”张新凤如是说。

“在石油勘探过程中,数据存储和分析处理的需求呈几何倍数增长,对存储容量以及扩展性都提了很高的要求。石油勘探领域对收集上来的数据,需要提供 TB 级甚至 PB 级的读写性能,以满足前端的密集计算和模拟需求。”中石化石油物探技术研究院信息中心技术主管葛鑫表示。

“在进行舆情数据智能分析时,客户要求系统架构能融合训练、分析及推理,而传统存算一体化的模式就不太适用。”中科天玑区域拓展部总经理刘维秦在分布式存储应用时谈到,“曙光原生对 HDFS 协议的支持,在存算分离的基础上,保证了性能的指数级提升,还可以支持更多大数据的高级功能。”

“未来的存储系统要很好地支撑应用,无论是性能的极致优化,还是功能的定制。”张新凤谈到存储市场未来的发展时表示,“没有一蹴而就的捷径可以走,更多的是天长日久的积累和演进。作为国内第一批做自研分布式存储的厂商,曙光将以更扎实的科研技术、更先进的存储产品、更优质的存储服务,助力产业升级和数字化转型。”

推荐内容