戴尔正在打造一款超级增压版生成式AI数据存储产品,即具备智能横向扩展、OneFS增强功能与持续对齐PowerScale SuperPOD验证的第二代全闪存PowerScale。
其目的也非常明确:让PowerScale成为适用于一般AI与生成式AI工作负载的存储优化型产品。
戴尔基础设施解决方案部门负责人Arthur Lewis表示,“存储性能是成功实现AI与生成式AI成果的关键因素”,并补充称客户希望戴尔消除“限制计算密集型应用程序的吞吐量/可扩展性等数据访问瓶颈。我们也在积极提供快速、高效且安全的数据访问技术,将PowerScale转化为具有广泛市场认可度的AI与生成式AI配套解决方案。”
戴尔公司宣称,基于最新一代PowerEdge服务器打造的新款PowerScale全闪存存储系统,将把流式读取与写入性能提升达2倍。
PowerScale将拥有新的智能横向扩展功能,有助于提高单个计算节点性能,从而改善GPU利用率,并为AI训练、检查点与推理等负载提供更高的存储吞吐量。
即将推出的OneFS软件增强功能则让客户可以加快AI模型的准备、训练、微调和推理速度。
戴尔目前正使用英伟达的DGX SuperPOD对PowerScale进行验证,预计它将成为该平台上通过验证的首个以太网存储系统。
该公司表示,其面向微软Azure的戴尔APEX for File Storage将在Azure当中提供企业级文件性能与管理功能,充分满足性能密集型AI与机器学习应用(例如Azure OpenAI Service和Azure AI Vision)的实际需求。
与Databricks之间的合作,则允许客户随意选择各种大语言模型(LLM),并使用Databricks MosaicML中的库配合由戴尔APEX for File Storage提供的专有数据重新训练基础模型。作为跨多云环境的灵活选项,戴尔在AWS环境下同样提供APEX文件存储功能。
18机架SuperPOD
戴尔表示,经过SuperPOD验证的PowerScale意味着客户可以通过英伟达Quantum-2 InfiniBand和Spectrum以太网网络将数据传入/传出SuperPOD GPU设施。由此看来,新一代PowerScale将与强调支持SUperPOD的VAST Data和DDN构成竞争关系。
目前关于新一代PowerScale全闪存系统、OneFS增强功能和智能横向扩展的细节信息尚未披露,我们已向戴尔申请进一步说明。
PowerScale OneFS软件增强功能将于本月全球上市。
下一代全闪存PowerScale系统及智能横向扩展功能将于2024年上半年全球发布,适用于微软Azure的戴尔APEX for File Storage也将登陆全球市场。PowerScale的英伟达DGX SuperPOD验证工作预计将在2024年第一季度完成。
集成Databricks/MosaicML的戴尔APEX for File Storage现已在AWS上发布,并将于2024年上半年登陆微软Azure。戴尔的开放式现代数据智能湖仓产品计划于2024年上半年在全球范围内推出。
好文章,需要你的鼓励
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
微软正式确认配置管理器将转为年度发布模式,并将Intune作为主要创新重点。该变化将于2026年秋季生效,在此之前还有几个版本发布。微软表示此举是为了与Windows客户端安全和稳定性节奏保持一致,优先确保安全可靠的用户体验。配置管理器将专注于安全性、稳定性和长期支持,而所有新功能创新都将在云端的Intune中进行。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。