VDURA：AI 训练和推理需要优化文件与对象存储的平衡

在存储领域，有观点认为对象存储比文件存储更适合 AI 训练和推理，这引起了广泛关注。VAST Data 的联合创始人 Jeff Denworth 和 Microsoft 的 AI 基础架构架构师 Glenn Lockwood 都支持这一观点。然而，Hammerspace 的市场高级副总裁 Molly Presley 和 VDURA 的 CEO Ken Claffey 持不同意见。

VDURA 为超级计算、机构和企业级 HPC 提供并行文件系统。Ken Claffey 认为，在 AI 训练和推理市场中，文件或对象的数据访问问题被误解了。他认为两者都有其作用，并在采访中与我们讨论了这一点。

Blocks & Files：是什么让您开始思考这个问题的？

Ken Claffey：VAST Data 的 Jeff Denworth 最近大胆声称“没有人需要文件系统来进行 AI 训练”，而基于 S3 的对象存储是未来。虽然 AI 工作负载确实在演变，但声称文件系统已经过时是误导性的。

Blocks & Files：您认为 AI 存储需求的现实是什么？并行文件系统在大规模高性能 AI 训练中扮演什么角色？

Ken Claffey：在 VDURA，我们不认为 AI 存储是文件和对象之间的二选一。我们的架构以高性能对象存储为核心，前端是一个完全并行的文件系统。这意味着用户可以获得两者的最佳优势：对象存储的可扩展性和持久性，以及 AI 训练所需的高性能访问。

在我们最新的 v11 版本中，我们通过集成高性能分布式键值存储进一步增强了平台。这一新增功能优化了元数据操作，并实现了超快速索引，进一步增强了 AI 和 HPC 工作负载。此外，VDURA 提供了一个高性能的 S3 接口，允许在文件和对象协议之间无缝访问相同的文件和数据。这确保了企业在扩展 AI 基础架构时的最大灵活性和投资保护。

Blocks & Files：对象存储在这里有什么作用？

Ken Claffey：Microsoft Azure 的 Glenn Lockwood 最近指出，大规模 AI 语言模型越来越多地使用对象存储进行训练，而不是文件存储。他的观点与向基于对象的架构的转变趋势一致，但在得出结论之前，重要的是要仔细研究 AI 训练工作流程的细微差别。

Lockwood 列出了 AI 模型训练的四个主要阶段：

数据摄取：收集大量非结构化数据，适合对象存储，因为它具有不变性和可扩展性。

数据准备：转换和清理数据，这主要是一个内存和分析驱动的任务。

模型训练：通过 GPU 运行 Token 化数据并检查模型权重，需要快速存储访问。

模型部署和推理：分发训练好的模型并处理实时查询，通常通过键值存储进行优化。

虽然 Lockwood 认为这些工作负载不需要并行文件系统，但他的论点主要围绕成本效益而非原始性能。对象存储因其规模和成本效益而适合数据摄取和准备。然而，对于模型训练和实时推理，像 VDURA 这样的混合方法能提供最佳的解决方案。

Blocks & Files：您认为 Nvidia 在这方面的观点是什么？

Ken Claffey：随着他们发布下一代 GPU 和 DGX 平台，他们继续强调高性能存储需求。根据 Nvidia 自己对 DGX 的指导意见，领先的 AI 平台推荐的存储配置是：

“高性能、可靠的、POSIX 风格的文件系统，优化用于多线程读写操作，跨多个节点。”

我们是否遗漏了 S3 的要求？Nvidia 并未表示 AI 训练应仅依赖对象存储。事实上，他们自己的高性能 AI 架构是围绕为多线程、高吞吐量访问而设计的文件系统构建的。

Blocks & Files：检查点是否鼓励使用对象存储？

Ken Claffey：Denworth 提到 Nvidia 的“S3 Checkpointer”作为 AI 训练转向对象存储的证据。然而，他方便地忽略了一个关键细节。Nvidia 自己文档的下一部分指出：“异步功能目前不检查先前的异步保存是否完成，因此即使当前保存失败，也可能会删除旧的检查点。”

这在实践中意味着什么？使用异步检查点可能导致恢复点更早。这大大降低了检查点的可靠性，并增加了训练进度丢失的风险。同步、一致的检查点的价值不容小觑——这是并行文件系统经过数十年优化的内容。

Blocks & Files：您如何优化 VDURA 存储？

Ken Claffey：与其将争论框架为“文件与对象”，VDURA 构建了一个集成解决方案：

一个高性能对象存储，以高效处理大规模数据摄取和归档。

一个完全并行的文件系统前端，以低延迟、高带宽访问优化 AI 模型训练。

一个分布式键值存储，加速元数据查找、向量索引和推理。

一个高性能 S3 接口，确保跨 AI 工作流的多协议访问。

这种架构解决了 Lockwood 的担忧，同时也满足了企业对最高性能和可扩展性的需求。虽然对象存储发挥了关键作用，但完全忽视并行文件系统无视了大规模 AI 训练的实际情况。

Blocks & Files：您如何看待 AI 存储的未来？

Ken Claffey：Denworth 和 Lockwood 都为对象存储提出了强有力的理由，但他们淡化了 AI 训练中性能关键的方面。AI 存储的未来是混合的：

并行文件系统提供训练所需的速度和效率。

对象存储适用于归档、共享和检索工作负载。

多协议解决方案弥合了差距，但这并不意味着文件系统已过时——远非如此。

高性能分布式键值存储增强了元数据管理和索引，进一步优化了 AI 工作流。

VDURA 的方法承认了这一现实：以高性能对象存储为核心，一个完全并行的文件系统前端，一个集成的键值存储，以及一个高性能 S3 接口——所有这些共同作用，以提供无与伦比的 AI 和 HPC 工作负载效率。与 VAST 声称对象存储是未来的观点不同，我们认识到大规模 AI 训练需要所有存储范式的最佳组合。

在大规模部署 AI 的企业需要一个真正满足性能要求的存储基础架构，而不仅仅是理论上的灵活性。虽然对象存储发挥了作用，但并行文件系统仍然是高性能 AI 基础架构的支柱，提供了当今 AI 工作负载所需的速度、一致性和规模。

行业并没有远离文件系统——它正在演变以拥抱最佳的技术组合。问题不是“文件或对象”，而是“我们如何优化？”在 VDURA，我们正在以这种平衡为基础构建 AI 存储的未来。