华为OceanStor MVX存储系统技术漫谈（二）

大数据时代，数据成爆炸式增长，数据总量ZB级，对我们的IT系统提出了更大的容量存储能力和更高的系统性能要求。华为OceanStor MVX存储系统（以下简称MVX系统）采用Scale-Out架构，通过服务器的集群方式构建，可自由横向扩展，提供统一命名空间，这个统一的命名空间可以提供高达170GBps的总带宽，超过300万的OPS，以及很低的时延。MVX系统是如何达到这样的卓越性能的呢？

SSD加速

在一个系统中，我们把用来描述数据的数据称为元数据，元数据管理真正的数据。元数据的特征是数据量不大，但访问频繁且离散。我们在并发访问数据的时候，需要先访问元数据，以获得数据的大小，路径等信息再通过这些信息访问数据的内容。传统机械硬盘，顺序访问性能可达100MB级别，但小文件随机访问的性能极低。用传统机械硬盘来存储元数据，元数据往往就成为了整个系统的性能瓶颈。

近几年固态硬盘(SSD)技术突飞猛进，SSD存储小文件随机访问的性能有目共睹。就存储介质而言，SSD以其高性能引领着存储行业的变革方向。但它同时也面临着高成本和低容量的尴尬困境，而这恰恰是传统硬盘的长项。就目前SSD的发展程度，在大数据时代，面对大容量和低成本的要求，所有场景全部采用SSD的方案是不现实的。

MVX系统基于分布式架构，数据和元数据分开管理，系统智能控制元数据的分布位置。同时，MVX系统的高性能节点配置SSD。这样，MVX系统把元数据存放在SSD上，数据放在机械硬盘上，既能提升整系统性能，又能提供大容量空间，还能保持低TCO。

MVX系统不仅仅可以把元数据放在SSD上，加速元数据访问速度，还能自动识别小文件，和热门数据，并自动把部分小文件和热数据放在SSD上。当SSD空间满的时候，MVX通过自动的冷热文件识别，把一部分近期被访问可能性较低的文件转移到SATA或SAS盘上。这样的设计可以让资源得到充分的利用。

SSD的空间容量毕竟有限，只能放置部分元数据和数据，绝大部分数据都放在传统的，读写性能比SSD低很多的机械硬盘上。如果要保证整系统的高性能，仅仅依靠SSD加速还不够。缓存，一直以来，也是用来提升性能的一大法宝。

全局缓存

在一个系统中，数据通常情况下读要比写的频率高，提升数据的读性能，能显著提升整系统性能。数据从缓存中读出，比从硬盘读出快很多倍。传统的做法是尽可能加大节点的缓存，但单节点的缓存总是有上限的。而且传统集群服务器的缓存往往是各自为政，同一块数据有可能被多个节点的缓存分别进行缓存处理，随着节点的增加，缓存命中率不会得到提高，磁盘的读性能得不到改善，数据的一致性保证机制也会非常复杂，进而消耗过多的系统资源。

MVX系统作为一个分布式，share nothing架构的系统，每个节点都对外提供服务。MVX系统采用全局缓存模式，把所有单节点的缓存联合起来，整合成一个大缓存池，从任一节点访问，读写均可以在全局缓存池中作统一的命中处理。MVX最高可以拥有超过4TB的超大缓存，大大提高缓存命中率，减少读盘次数，降低访问时延，提升系统并发度、进而提升整系统性能。

把所有单节点的缓存整合成一个统一的全局缓存池，需要通过系统的内部网络来完成数据的交换，如果内部网络性能差，时延大，必然影响整体的系统性能。

高速的网络互联

随着网络技术的不断发展，万兆以太网出现，让用户既拥有高速网络，又拥有以太网的简单管理。MVX系统支持高速10GE以太网，每个节点可以支持4个10GE端口和4个1GE端口， MVX在低时延、高带宽、高并发的场景下都可以获得卓越的表现。

随着近几年Infiniband技术趋于成熟，多并发链接，高达40Gbps的带宽，时延低。在一些对性能要求苛刻的场景，Infiniband能够带来更高的性能。但Infiniband目前成本还比较高，这是CIO们需要抉择的地方。

MVX系统同时支持高速10GE以太网和InfiniBand网络，适配用户不同的组网需求。通过节点间高速互联，尽可能降低系统内部时延，从而对外提供卓越性能。

并行访问

传统的NAS系统一般采用单NAS引擎Scale-up的方式扩展容量，所有的并发访问都需要经过NAS引擎，传统的NAS系统，NAS引擎往往成为系统的性能瓶颈。

MVX使用多台相对廉价的x86服务器组成一个Scale-out的集群，通过负载均衡，每个访问均匀地被发往各个服务器，这大大提高了MVX并发访问的能力，其处理能力随着集群规模的增大而线性增长，避免了性能与容量不匹配的尴尬。这也使得MVX可以使用较低配置的硬件达到传统高端NAS的性能指标。

华为OceanStor MVX存储系统还通过细粒度锁，负载均衡，分级存储等，为用户提供卓越性能。技术永无止境，追求永无止境。华为OceanStor MVX存储系统在技术上不断创新，为客户提供业界领先的性能，满足媒资，高性能计算等场景的需求。