希捷为百亿亿次计算项目提供对象存储方案

希捷的CORTX对象存储方案将为欧盟SAGE Exascale百亿亿次计算项目提供支持。

SAGE产品线始于2015年，代表的是Percipient Storage for Exascale Data Centric Computing，即百亿亿次数据中心计算感知存储中几个字母的缩写。虽然略显牵强，但SAGE系统以存储为中心的设计思路确实独树一帜，希望凭借百亿亿次超大规模数据存储量将大数据分析与高性能计算融合起来。

根据ACM文档摘要，“SAGE存储系统由多层I/O结构中的多种存储技术类型共同构成，包括闪存、磁盘与非易失性存储等技术。SAGE软件中的主要组件则是希捷Mero对象存储（Mero是CORTX的前身），可通过Clovis API及更高级别的接口进行访问。”

SAGE结构图示。

SAGE系统的首个原型部署在德国于利希超级计算中心内；SAGE 2项目则于2018年诞生，用以验证基于SAGE构建的、专供超大规模计算科学工作流与AI/深度学习使用的下一代存储系统。它“是一套高性能、高弹性、支持QoS的多层存储系统，具备跨层数据布局，由Mero对象存储软件负责管理，可害存储系统内实现数据的传输中/原位处理，并通过Clovis API开放访问。”

SAGE与SAGE 2也启发出不少研究成果，包括斯德哥尔摩KTH皇家理工学院学生Wei Der Chien的博士论文《基于下一代HPC存储系统、用于传统及新兴高性能计算工作负载的超大规模I/O模型》。文章着眼于如何在高性能应用中引入对象存储。Chien还开发了一个编程接口，可直接调用希捷的Motr对象存储。

Motr

根据GitHub上的说明文档，Motr是一套分布式对象与键-值存储系统，充当希捷CORTX对象存储方案的核心并采用高容量驱动器。它在设计上受到Lustre分布式并行文件系统、NFS v4.0以及数据库技术的影响。不同于依托本地文件系统进行分导的传统思路，Motr能够直接与块存储设备交互。而且虽然提供文件系统接口，但Motr本身并不属于文件系统。

Motr控制着一组网络存储节点，这些节点可以是传统磁盘，也可以是闪存、PCIe接口闪存、电池供电内存或者相变内存。各个Motr节点都会缓存一部分系统状态。该缓存由元数据（关于目录、文件及其属性的信息）与数据（文件内容，通常以页面形式存在）组成。缓存可以放置在易失性内存或持久存储当中。

IO活动可能在多个节点之上引发系统状态更新，这些状态更新会逐渐被转移至持久存储当中。例如，对内存中页面缓存的更新可能会传播至闪存驱动器上的缓存当中，之后再传播至存储在磁盘驱动器上的缓存。

希捷公司发言人告诉我们，于利希超级计算中心内的SAGE平台就运行着一套包含22个节点的CORTX Motr系统：8个客户端节点，14个存储节点。存储节点中又分多层：NVRAM、SSD与HDD，各自归属于不同的Motr容量池。由此形成了包含多个性能层的单一Motr集群。

用户首先指定要使用的池，并通过分层存储管理（HSM）工具控制数据在不同池间的移动。与高性能计算应用一样，该管理工具同样接入libmotr接口。根据我们得到的消息，libmotr接口要比Amazon S3更适合高性能计算与AI类工作负载。Libmotr还提供高性能选项，例如scatter-gather和基于MPI-IO的直连方案。

相较于S3等高级接口，高性能计算社区往往更倾向于选择libmotr这些低级接口、以及能提供更多灵活控制选项的API。

NoaSci

本月，Wei还和其他几位作者共同发表名为《NoaSci：一种用基于对象存储、面向科学应用I/O的数值对象阵列库》。我们还没有看到论文全文，但摘要部分提到“虽然现代高性能计算领域的存储基础设施目前由基于POSIX的I/O模型所主导，但新兴对象存储技术确实能够消除相关瓶颈、提升I/O潜在性能。”研究人员设计出的NoaSci是一套用于科学应用的数值对象阵列库，能够支持多种不同数据格式（例如HDF5、二进制），同时强调对节点本地突发缓冲区与对象存储的支持能力。

之后，作者们还演示了科学应用如何通过NoaSci在希捷Motr对象存储之上执行并发I/O。

希捷公司高级副总裁Ken Claffey带领系统业务团队参与了SAGE与SAGE 2项目的研究，期间也为Wei的研究提供了大量支持信息。

Motr低级对象API是由希捷及其欧盟HPC合作伙伴（包括KTH的Stefano Markidis教授）共同设计而成。Wei则是Markidis教授的学生，Google学者页面中显示他个人被引用第六多的论文正是SAGE文章。希捷英国工程总监Sai Narasimhanurthy则是这篇文章的联合作者。

另一篇高引用文章《面向高性能计算应用的存储中的MPI窗口》则由Markidis、Narasimhanurthy等人合著。

希捷公司指出，“我们很荣幸地看到CORTX Motr成为众多重量级项目的指定对象存储系统，也从这些合作关系中受益匪浅。各方合作成就了如今的CORTX Motr接口，也让它成为社区当中备受瞩目的首选接口。”

它还为那些更倾向于选择高级别接口的企业和云用户提供了额外的S3接口选项，帮助他们既无需重写应用程序、又能获得极高的性能表现。

SAGE与SAGE 2项目已经结束，但希捷将继续与KTH及其他各方在IO-SEA及https://www.esiwace.eu/ 等项目中保持合作。

评论观点

MinIO基准测试认为，对象存储主要适用于那些需要快速访问大量数据的应用程序。但在最新研究成果的支持下，我们发现希捷CORTX对象存储软件配合核心Motr低级接口，完全可以帮助高性能计算用户快速访问对象数据。

但要实现这种高速优势，CORTX必须与libmotr API接口配合使用，这往往意味着需要对应用软件做出修改。我们期待看到libmotr支持下的CORTX能否在速度上追平甚至超越MinIO，也将持续关注CORTX能否在商业领域为高速对象存储杀出一片新天地。