高性能计算HPC,通过聚合大量的计算和存储资源来解决复杂问题,在科学研究、基因测序、油气勘探、芯片制造、气象预测等场景已经获得了广泛的应用。欧洲粒子物理研究所(CERN)在HPC的帮助下,从5年间累积的海量监测数据中找到了“上帝粒子”存在的证据;汽车制造过程中,通过HPC来模拟汽车碰撞过程,无需真实的碰撞,不仅节省研发成本,也大幅缩短了研发周期。
过去,追求更高的算力一直是HPC产业的主旋律,从1976年至今,TOP1机器的算力增长了42.1亿倍,比任何一个领域的技术发展速度都要快,多样性算力的崛起更让算力不再成为瓶颈。而HPC中的存力,逐步成为焦点。大数据、AI等技术逐步与HPC融合,让数据价值能够被更充分地挖掘,而被分析的数据也逐步从冷数据,变化为大量动态的、不断变化的热数据。HPC的重心开始从以计算为中心的计算密集型HPC,向以数据为中心的数据密集型HPC演进。存储作为数据的核心承载者,成为了推动HPC产业发展的新动能。Hyperion 2020年HPC全球市场的预测显示,从2019年到2024年,HPC存储市场将保持12.1%的年化增速,远高于计算的8.7%,也在一定程度上印证了这一趋势。
IDC预测到2021年,全球HPC存储的市场空间可达148亿美金,其中新兴的HPDA(high performance data analysis)和HPC-based AI场景将以年化17%、29.5%的增速快速增长。HPC与大数据结合产生的HPDA方案,当前主要应用在金融反欺诈、电子商务等领域,是一种典型的数据密集型业务。这些新的场景将为HPC存储带来更大挑战,包括多应用跨协议高效访问、同一个数据流中的混合负载处理能力、面对EB级数据的TCO优化方案,以及如何确保数据安全的问题。
产业变化催生了新的市场空间,面向HPDA业务的存储已成为存储领域最热门的创新方向,也成为巨头们角逐的新战场。近年来,存储领域的主流玩家Dell EMC、NetAPP、华为以及专攻HPC存储的DDN等也在不断加码HPDA存储方案,以期在新的变革浪潮中拔得头筹。
Dell EMC的PowerScale(原Isilon)分布式文件存储推出已久,除了在媒资等领域广泛应用外,一直以来也是HPC存储领域不可忽视的力量。近两年针对HPDA的高速发展,Dell EMC敏锐的推出了新的全闪产品和专为数据分析和AI优化的全栈方案以提升客户吸引力,并取得了良好的市场进展,据悉已经承载了超过1000PB的自动驾驶训练数据。
原本主要聚焦EDA等小文件HPC市场的NetApp,近两年来也觉察到HPC存储的巨大市场潜力,投入大量资源全面重构主力产品,从而在新一轮HPC和HPDA竞争中,依托小文件AI场景的高性能,也取得了不错的市场地位。
中国厂商中,华为也迅速瞄准HPC存储新机会开始加大投入,并于2020年发布了全新的OceanStor Pacific系列高密全闪和高密大容量两款产品,同时支持多协议互通以及混合负载。据了解,上海交大在暗物质探测中的使用显示,其性能远超预期。
作为专注HPC存储领域的玩家,DDN曾经撬动了服务器并行文件系统+SAN存储10亿美金的市场。在HPDA大势之下,DDN又积极扩展HPDA方案与生态,增加全闪存产品投入,成为HPDA市场的主力军,也是英伟达的最佳合作伙伴之一。
此外,还有一批初创公司纷纷入局,如WekaIO依托分布式文件存储已经成为了新一轮benchmark性能的佼佼者。
每一次产业变革机会窗的开启,总是几家欢喜几家愁,一批公司的崛起也总会伴随着另一批的陨落。相信谁都不想掉队。面对HPC存储的新机会,谁能笑到最后,不妨让子弹再飞一会。
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。