戴尔Project Lightning项目为PowerScale带来并行性能提升

戴尔针对其PowerScale集群文件系统存储的并行化改进正在稳步推进。戴尔发言人表示："我们在Project Lightning的早期访问阶段收到了积极反馈，请继续关注正式版本的发布消息。"

PowerScale是戴尔扩展并重新品牌化的Isilon横向扩展文件存储技术，搭载OneFS操作系统，支持4到256个节点。它与Qumulo的Core系统形成竞争关系，后者由一些Isilon创始人开发，采用类似的集群化横向扩展设计。

另一种高性能文件系统技术使用并行文件系统，如IBM的Storage Scale（重新品牌化并开发的GPFS）和Lustre。这些系统为高性能计算（HPC）系统提供更高带宽的文件系统访问。近年来，随着大数据分析和人工智能的兴起，以及多GPU服务器的普及，企业计算、AI训练和推理都需要高性能文件访问能力。

这一需求催生了VAST Data的并行数据访问技术、Hammerspace的并行NFS技术，以及WEKA的并行文件系统技术。作为回应，戴尔在2024年启动了Project Lightning项目，为其PowerScale和ObjectScale存储系统增加并行访问功能。当时，戴尔ISG部门营销高级副总裁Varun Chhabra在戴尔科技世界大会上表示："Project Lightning将为PowerScale中的非结构化数据提供并行文件系统。该项目将带来极致性能和无与伦比的效率，接近线速率效率——97%的网络利用率，以及满足数千个数据密集型GPU的能力。"

戴尔告诉我们，通过Project Lightning："PowerScale以NAS的简便性提供企业级并行文件系统性能，适用于从小型到大规模部署的各种企业，并内置安全功能。它可在多个节点间为多个客户端提供大规模I/O，为AI、HPC和分析工作负载提供一致的高速访问、高并发和低延迟，采用分布式元数据且无中央瓶颈。"

与并行文件系统一般特性相符，"PowerScale还利用客户端软件层将读取操作分发到集群中的所有节点，实现真正的并行读取性能（包括RDMA等优势，避免TCP开销）。虽然我们不想提前透露，但我们即将推出一些重要更新，将使PowerScale更加并行化并大幅提升性能。"

RDMA是远程直接内存访问技术，并行化的PowerScale将在驱动器级别使用这项技术。"Project Lightning通过直接从客户端到设备的连接，绕过文件系统，实现极低延迟和极高性能。由于直接连接到设备，其性能受制于网络结构。Project Lightning将成为世界上最快的并行文件系统，性能比竞争系统高出2倍。"

主要的并行文件系统竞争对手包括IBM Storage Scale、DDN Lustre、VDURA的PanFS、Quobyte和BeeGFS。这些系统都具有HPC背景，大多数现在都支持企业AI用例。它们都需要访问系统安装特定的客户端软件，将标准文件系统访问协议转换为并行文件系统软件内部的多节点处理。VAST Data和Hammerspace则不需要，依赖标准的NFS和SMB。WEKA需要在访问WekaFS文件系统的系统上安装其WEKA客户端软件进行直接文件访问。

NetApp推出了用于AI的ONTAP项目，配备独立的计算控制器，运行ONTAP实例，"增强了额外的元数据和数据服务"，以及装满NVMe SSD的存储节点，形成单一存储池，通过高速、低延迟、基于以太网的RDMA结构进行访问。我们预计在未来几周内会有关于其进展的消息。HPE与VAST Data就其文件系统软件达成了合作协议。

这些举措为Qumulo提供了机会，要么加强其中间市场的吸引力，要么在其Core操作系统中增加并行访问功能，配合其性能增强的NeuralCache预测缓存功能。

我们预计在未来几周内会听到更多关于Project Lightning对PowerScale影响的消息，它很可能会在明年5月在拉斯维加斯举行的戴尔科技世界大会上成为重点。

Q&A

Q1：戴尔Project Lightning项目是什么？

A：Project Lightning是戴尔在2024年启动的项目，旨在为其PowerScale和ObjectScale存储系统增加并行访问功能，提供企业级并行文件系统性能，实现97%的网络利用率和满足数千个数据密集型GPU的处理需求。

Q2：PowerScale与竞争对手相比有什么优势？

A：PowerScale结合了NAS的简便性和并行文件系统的高性能，支持4到256个节点，提供分布式元数据且无中央瓶颈。通过Project Lightning，其性能比竞争系统高出2倍，成为世界上最快的并行文件系统。

Q3：哪些企业需要使用并行文件系统技术？

A：主要是需要高性能计算的企业，包括进行大数据分析、AI训练和推理的公司，以及使用多GPU服务器的企业。这些场景都需要高速文件访问、高并发和低延迟的存储解决方案。