尽管OpenAI和英伟达等技术供应商向人工智能基础设施投入数十亿美元,但大多数企业仍未超越AI采用曲线的实验阶段。NetApp亚太区高级副总裁表示,瓶颈不是缺乏雄心,而是企业数据状态。AI模型需要大量干净有序的信息,但许多公司的数据分散在难以处理的孤岛中。该公司推出AI数据引擎套件来简化数据管道,并引入分解存储架构以改善AI工作负载的经济性。
大多数技术领导者在构建高性能AI应用时专注于LLM、数据集和专用芯片,但往往忽略了存储这一关键环节。Meta和斯坦福大学研究显示,存储可消耗深度学习模型训练所需的三分之一功耗。当GPU等AI加速器因等待数据而空闲时,组织实际上在浪费昂贵资源。存储瓶颈会严重影响GPU吞吐量,将高性能计算变成昂贵的等待游戏。
德克萨斯大学奥斯汀分校先进计算中心正在为其地平线AI和仿真超级计算机构建存储系统。该系统采用VAST Data在线存储、戴尔缓存归档前端、Versity软件和Spectra Logic离线磁带存储。地平线超算将成为全球最大的专用于开放科学研究的学术超级计算机,性能达到400千万亿次浮点运算,配备400PB全闪存存储和1EB级磁带归档系统。