HPE Alletra X10000 重新定义横向扩展存储架构

分析：HPE 的 Alletra MP X10000 对象存储系统代表了一种新型的横向扩展存储硬件，采用了由 VAST Data 首创的分散共享一切 (DASE) 架构。HPE 全球技术与战略架构师 Dimitris Krekoukias 撰写了一篇博客，详细介绍了其主要特性并解释了设计理念。

他列举了系统的主要特点，包括 RDMA 和用于 S3 的 GPUDirect、数据服务分区、键值存储基础、单一存储桶速度、高吞吐量和小型事务的平衡读写速度、小型写入缓冲等功能。

该系统完全采用 HPE 自主技术构建，而非 OEM 软件或授权硬件。它由基于 ProLiant 的存储服务器控制器节点和独立的全闪存储或容量节点组成，通过 NVMe 内部架构互连，并存在于全局命名空间中。容器化操作系统初期提供对象存储功能，但可以在其基础的日志结构化键值存储之上支持其他协议，未来还可添加更多协议层。

Krekoukias 表示："这些协议层针对特定协议的语义进行了优化，将每个协议都视为一等公民。这使得 X10000 能够利用每种协议的优势，而不会继承第二种协议的缺点或在协议之上运行其他协议（如对象建立在文件之上，反之亦然）。"

HPE 需要系统通过 RDMA (远程直接内存访问) 和 Nvidia 的 GPUDirect for S3 协议提供对对象数据的快速访问，实现 GPU 服务器对存储驱动器的直接访问。Krekoukias 写道："与 TCP 相比，这项技术将大大提高性能并显著降低 CPU 需求，使您能够充分利用基础设施，并消除 GPUDirect 管道中的 NAS 瓶颈。"

他声称："通过三重+纠删码和级联多级校验和（这是首次在 Nimble，随后在 Alletra 5000 和 6000 中出现的保护机制的演进），确保了极高的弹性和数据完整性。"写入缓冲区位于 SSD 而不是 NVRAM 中，"消除了 HA 对的限制"。

每个驱动器被划分为所谓的小型逻辑驱动器或磁盘片，最小可达 1 GB，这些磁盘片被放入 RAID 组中。这些 RAID 组可以限制在一个 JBOF (存储节点) 内，或跨越多个 JBOF 以防止故障。传入数据经过压缩，"通过使用 24 个磁盘片的 RAID 组确保良好的空间效率。"

工作负载被切分为数据服务分区 (DSP)，DSP 分片在不同的控制器节点上运行。如果一个或多个控制器节点发生故障，受影响的 DSP "会在剩余控制器之间平稳均匀地重新分配。" 磁盘片 RAID 切片根据需要动态分配给 DSP。

Krekoukias 指出："由于所有状态仅在 JBOF 中持久化，而节点完全无状态，这种 DSP 的移动只需要几秒钟，并且不涉及数据移动...由于对象基于哈希分布在 DSP 中，性能始终在集群节点之间保持负载均衡。"计算和存储容量可以独立扩展。

除了 GPUDirect for S3 外，性能一直是系统设计的重点。博客告诉我们，"典型的非结构化工作负载（如分析和数据保护）假定每个应用单元（如单个仓库或备份链）使用单个存储桶或少量存储桶。"由于采用了 DSP 分片概念，无需使用多个小存储桶来提高 I/O 性能。

他写道："X10000 线性扩展单个存储桶的能力意味着单个应用程序能够与大量应用程序或租户一样受益于 X10000 的横向扩展能力。"

HPE 表示，X10000 具有平衡的性能，因为它"旨在提供高吞吐量和小型事务操作的平衡读写性能。这意味着对于重写入工作负载，不需要一个庞大的集群。这带来了针对任何工作负载的优化性能体验，并能够在不造成浪费的情况下达到性能目标。"

系统的"X10000 日志结构化键值存储是基于范围的"，并且范围大小可变。范围是一个连续的存储块，可容纳多个键值对，从而提高访问速度。元数据和数据访问也可以适应应用程序边界。

"X10000 的写入缓冲区和索引针对小对象进行了优化。X10000 实现了一个写入缓冲区，小型 PUT 操作首先提交到该缓冲区，然后再暂存到日志结构化存储中，元数据更新则合并到分形索引树中以实现高效更新。"

小对象写入 (PUT) "在暂存到日志结构化、受纠删码保护的存储之前，先提交到 X10000 的写入缓冲区。写入缓冲区的提交降低了小型 PUT 的延迟并减少了写入放大。写入缓冲区存储在与日志结构化存储相同的 SSD 上，由一组磁盘片组成。"

Krekoukias 说："基于 SSD 的写入缓冲区可以为延迟敏感的结构化数据工作负载提供与 NVDIMM 等先前方法相同的高可靠性和低延迟。"

所有这些设计要点意味着小型 X10000 配置（仅具有 192 TB 原始容量和 3.84 TB SSD）就能获得良好的性能，无需扩大集群规模即可实现高性能。