高性能计算HPC,通过聚合大量的计算和存储资源来解决复杂问题,在科学研究、基因测序、油气勘探、芯片制造、气象预测等场景已经获得了广泛的应用。欧洲粒子物理研究所(CERN)在HPC的帮助下,从5年间累积的海量监测数据中找到了“上帝粒子”存在的证据;汽车制造过程中,通过HPC来模拟汽车碰撞过程,无需真实的碰撞,不仅节省研发成本,也大幅缩短了研发周期。
过去,追求更高的算力一直是HPC产业的主旋律,从1976年至今,TOP1机器的算力增长了42.1亿倍,比任何一个领域的技术发展速度都要快,多样性算力的崛起更让算力不再成为瓶颈。而HPC中的存力,逐步成为焦点。大数据、AI等技术逐步与HPC融合,让数据价值能够被更充分地挖掘,而被分析的数据也逐步从冷数据,变化为大量动态的、不断变化的热数据。HPC的重心开始从以计算为中心的计算密集型HPC,向以数据为中心的数据密集型HPC演进。存储作为数据的核心承载者,成为了推动HPC产业发展的新动能。Hyperion 2020年HPC全球市场的预测显示,从2019年到2024年,HPC存储市场将保持12.1%的年化增速,远高于计算的8.7%,也在一定程度上印证了这一趋势。
IDC预测到2021年,全球HPC存储的市场空间可达148亿美金,其中新兴的HPDA(high performance data analysis)和HPC-based AI场景将以年化17%、29.5%的增速快速增长。HPC与大数据结合产生的HPDA方案,当前主要应用在金融反欺诈、电子商务等领域,是一种典型的数据密集型业务。这些新的场景将为HPC存储带来更大挑战,包括多应用跨协议高效访问、同一个数据流中的混合负载处理能力、面对EB级数据的TCO优化方案,以及如何确保数据安全的问题。
产业变化催生了新的市场空间,面向HPDA业务的存储已成为存储领域最热门的创新方向,也成为巨头们角逐的新战场。近年来,存储领域的主流玩家Dell EMC、NetAPP、华为以及专攻HPC存储的DDN等也在不断加码HPDA存储方案,以期在新的变革浪潮中拔得头筹。
Dell EMC的PowerScale(原Isilon)分布式文件存储推出已久,除了在媒资等领域广泛应用外,一直以来也是HPC存储领域不可忽视的力量。近两年针对HPDA的高速发展,Dell EMC敏锐的推出了新的全闪产品和专为数据分析和AI优化的全栈方案以提升客户吸引力,并取得了良好的市场进展,据悉已经承载了超过1000PB的自动驾驶训练数据。
原本主要聚焦EDA等小文件HPC市场的NetApp,近两年来也觉察到HPC存储的巨大市场潜力,投入大量资源全面重构主力产品,从而在新一轮HPC和HPDA竞争中,依托小文件AI场景的高性能,也取得了不错的市场地位。
中国厂商中,华为也迅速瞄准HPC存储新机会开始加大投入,并于2020年发布了全新的OceanStor Pacific系列高密全闪和高密大容量两款产品,同时支持多协议互通以及混合负载。据了解,上海交大在暗物质探测中的使用显示,其性能远超预期。
作为专注HPC存储领域的玩家,DDN曾经撬动了服务器并行文件系统+SAN存储10亿美金的市场。在HPDA大势之下,DDN又积极扩展HPDA方案与生态,增加全闪存产品投入,成为HPDA市场的主力军,也是英伟达的最佳合作伙伴之一。
此外,还有一批初创公司纷纷入局,如WekaIO依托分布式文件存储已经成为了新一轮benchmark性能的佼佼者。
每一次产业变革机会窗的开启,总是几家欢喜几家愁,一批公司的崛起也总会伴随着另一批的陨落。相信谁都不想掉队。面对HPC存储的新机会,谁能笑到最后,不妨让子弹再飞一会。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。