Hitachi Vantara：打破基础架构瓶颈，加速AI应用遍地开花

作者:Hitachi Vantara中国区资深解决方案顾问 蔡慧阳

近年来,人工智能 (AI) 技术深入发展,赋能千行百业的数字化转型,各类AI应用也逐渐渗透到所有人的衣食住行中。我国一贯注重AI技术的发展,早在2017年便在国务院发布的《新一代人工智能发展规划》指出了发展AI技术的顶层战略,规划到2030年,推动中国成为世界AI领导者。

AI的快速发展依赖于数据和算力需求的指数级增长,与此同时,其对企业IT基础架构市场产生了举足轻重的影响。根据2021年Gartner的报道,到2025年,AI将成为基础架构决策中最主要的因素之一,该市场的成熟将导致基础架构需求呈现10倍的增长。

随着AI应用的落地,企业的后端存储面临着三大挑战。第一,AI的进步带来了远超摩尔定律的算力需求,导致后端存储的性能跟不上前端计算集群的性能,因为多样化的文件大小和混合负载对后端存储的性能提出了更高的要求。第二,数据量急剧增长,其中超过80%为非结构化数据,对存储的容量和扩展性要求激增。第三,IT预算不断缩减,“降本增效”成为企业推进IT架构现代化与数字化转型的关键考虑因素之一。

三大挑战阻碍数据生产力

打破传统基础架构瓶颈,为AI数据处理“解压”

面对挑战,企业的存储应当在性能、容量、扩展能力与易用性方面实现创新,同时应尽可能帮助企业节省数据全生命周期处理的成本,方能满足前端业务发展的新需求。

然而,传统架构已无法适应当前AI数据的处理。其处理过程涉及众多环节,在不同的环节中,数据需要通过不同的接口接入到存储系统中。传统存储架构容易存在各种缺陷,例如数据接口比较单一等,因此传统存储解决方案只能采取分散的存储架构,容易形成多个数据孤岛,致使数据需要在多个数据孤岛之间来回拷贝再交给不同的存储设备,以满足不同的性能需求。

在传统架构下,处理AI数据存在多台设备并存、管理流程分散、手动性能调优等带来的复杂性问题,同时也难以实现IT部门和业务部门的数据共享、影响数据的开发利用。为此,Hitachi Vantara推出专门面向AI应用的新一代高性能并行文件存储HCSF (Hitachi Content Software for File),既能适配传统高性能计算,也能满足高性能数据分析和其他GPU加速场景对文件存储的多维极致要求。

加速AI应用“遍地开花”,使能民众共享数字化成果

在高性能计算及分析领域,HCSF具有广泛的应用场景,与AI、机器学习、GPU加速应用环境密切相关,遍布于金融、生命科学、制造业、能源、媒体等各行各业,与人民日常生活息息相关。

以生命科学行业为例,某基因分析机构从分布式NAS存储转向HCSF之后,实现了十倍以上的性能提升,且容量和性能可线性增长,大大加速基因测序、基因分析流程,推动新药早日上市。在制造行业,某新能源汽车企业在采用HCSF之后大幅节省时间成本,将单次驾驶训练和仿真测试的时间周期缩至原来的1/20,比竞争对手更早地将产品推向市场,机会窗利润所带来的收益每半年就会翻倍。由此可见,HCSF在助力企业加快业务处理,缩短产品上市周期,加速数字创新成果落地方面成效显著。

通过支持通用的硬件平台实现软件和硬件解耦,通过Hitachi Vantara与多家云服务商达成的合作以支持多云部署等,HCSF可以满足企业混合云架构的需求和灵活性。此外,HCSF能够提供多协议支持,允许企业通过单一存储平台满足多种业务接入的需要,解决传统架构的复杂性问题。

在成本方面,得益于HCSF的简单架构和自动调优能力,企业无需聘请高级技术人员进行管理与维护,从而节省大量人工成本。同时,HCSF实现了云分层,可以把温冷数据分层存储到对象存储或公有云上的S3存储,进一步降低总体拥有成本。仍以上文提到的基因分析机构为例,采用HCSF后,每组基因的分析成本降低了75%,成本节约效果突出。

客户价值

重塑业务模式,以先进理念与专利技术为“底气”

面向AI,HCSF能够突破传统架构瓶颈,以超高性能、无限扩展、简单易用三大优势,在众多行业掀起新一波智能化浪潮,离不开其背后与众不同的设计理念和专利技术。最为客户所青睐的超高性能来源于三方面的技术设计理念:

第一,HCSF数据平台的架构基于高性能介质NVMe、高速网络以及高速总线而设计,通过底层的驱动优化,减少数据传输的中间环节,从而大大缩短延迟。第二,无论是大文件还是小文件,无论是顺序I/O还是随机I/O负载,HCSF都能够进行自动调优,提供无差别的高性能,包括高吞吐、高IOPS、低延迟和高效的元数据处理。第三,HCSF采用专利的全分布式扩展架构,将数据和所有元数据都分布在所有的节点上,避免出现性能瓶颈,极大地提高扩展性、聚合性能和弹性。

三合一数据平台

结语

Hitachi Vantara的初心从未改变,即从数据出发、围绕数据,帮助客户改善运营效率,提升体验,创新更多的商业模式,进而实现可持续增长。推出HCSF的初衷和逻辑与Hitachi Vantara的总体目标高度一致。在HPDA高性能数据分析的时代,我们希望,HCSF能够帮助企业更高效、更智能、更经济地释放数据的全部价值,助力各行业共享数字经济红利,为加快构建新发展格局,推动高质量发展添砖加瓦。