磁盘阵列技术的新进展

三、RAID及磁盘阵列体系架构

最初的磁盘都是单体使用，为了获得大的容量必须把磁盘体积做得很大，比如1956年IBM发明的第一个硬盘RAMAC虽然只有5MB，但体积有两个冰箱大，1973年的IBM 3340硬盘由于技术进步使容量达到60MB，体积却缩小到家用洗衣机大小。以后的趋势也是沿着容量增大、体积缩小发展，但问题仍然很明显：想获得更大的容量非常困难，或者造价高昂；硬盘故障造成业务停顿甚至是数据丢失。1987年，美国加州大学伯克利分校提出了RAID（Redundant Array of Inexpensive Disk）技术，有了RAID技术，许多小容量磁盘，通过采用不同级别的RAID就可以实现更高的可靠性及读写性能，于是现代概念的磁盘阵列就诞生了。

在《光纤磁盘阵列技术简析》一文中把磁盘阵列划分为JBOD、双控制器、多控制器三种。如今JBOD已基本不见踪迹，取而代之的是单控制器架构。而随着技术的不断进步和市场的进一步拉动，今天磁盘阵列在现有的单控制器架构、双控制器架构及多控制器架构基础上又演化出三类新型多控制器磁盘阵列，分别为单控松耦合集群架构、双控松耦合集群架构及多控紧耦合集群架构。

单控制器架构就是通过将服务器与JBOD相结合，整体作为一个存储系统提供存储服务。比如，NETAPP单控的 Filer、一些国内厂家的单控盘阵等。单控制器架构因为结构简单、成本低廉而广泛应用于对业务连续性要求不高的低端应用，或者作为单控松耦合集群架构的基本单元而发挥作用，比如IBM的XIV、被EMC收购的ISILON等系统，就是由这种基本单元构成新型单控松耦合集群架构。

双控制器架构的两个控制器之间冗余设计，消除了单点故障。市场上大部分中低端磁盘阵列都是这样的体系架构。由于面向中低端市场，同时支持FC-SAN、IP-SAN及NAS访问协议的一体化磁盘阵列，因为功能多样、成本较低、简单易用而较受欢迎，NETAPP、EMC等专业存储厂商都推出了这样一体化存储系统。

多控制器架构不再局限于两个控制器，可以根据业务需求配置更多控制器协同工作，实现容量扩充的同时性能也得以同步扩充。传统多控制器架构是三层架构，即在前端控制器、后端控制器、中间CACHE缓存之间实现分工协作。EMC的SYMMETRIX DMX系列产品、HDS的USP系列产品都属于典型的传统多控制器架构。

新型多控制器磁盘阵列是近年存储市场出现的新动向，从体系架构角度看，新型多控制器架构均由上述三种基本架构演化而来，这也符合技术发展的持续性和继承性。

首先，单控制器架构处理能力有限，同时单一节点又缺乏可靠性设计，人们难以接受单一单控制器架构磁盘阵列。因此一般都是将单控制器架构作为基本单元，再通过以太网、IB（InfiniBand）等外部通用标准通信协议，实现多个单控制器架构之间的松散互连，形成一个整体的数据存储系统，姑且称之为单控松耦合集群架构。这类架构典型产品包括块级接口的XIV、文件级接口的Panasas、Isilon、IBRIX等，这些存储系统一般面向相对独特的非结构化类应用需求。

   图：磁盘阵列体系架构及演变

双控制器架构也走向了集群化，既所谓的双控松耦合集群架构。这类双控松耦合集群架构的各个双控节点之间一般都采用非全交换式的专网实现连接。EMC的VMAX通过RapidIO技术互连；HP的3PAR系列通过专用背板互连； FUJISU的8000系列通过PCI-E路由互连。这些系统共同问题是，首先整个系统架构存在互连带宽瓶颈；其次跨节点访问存在延迟不一致性。第三由于体系结构改动较大，某些应用在实际生产环境中的性能表现和基准测试的标称值会存在较大差异。

最后，传统多控制器架构也开始了横向扩展，这便是新型多控紧耦合集群架构。由于传统多控制器架构单一节点非常庞大，实现这些大节点的通信必须采用高带宽、紧耦合的互连为基础。目前新型多控紧耦合集群架构只有HDS的VSP一个产品，HP公司的P9500作为VSP的OEM产品，也是这样的体系架构。EMC的SYMMTRIX 在DMX-4之后似乎停止了传统三层多控制器架构的探索。EMC的新型多控制器架构产品转向了前文提及的VMAX，它和传统的三层架构的多控制器产品SYMMTRIX在体系架构上大相径庭。

VSP的一个基本单元就是一个传统多控制器架构，继续保持前端控制器、后端控制器及中间高速缓存这样的三层架构，单一节点的规模和上代产品不相上下，因此单一节点具备传统多控制器架构的性能及可靠性。在此基础上，VSP上还增加了一新的VSD核心处理器单元，负责跨节点通信及功能软件。由于VSP继续采用了基于CROSSBAR的全交换架构，在多个节点之间，通过系统内部交换架构实现集群，集群后的存储仍是一个整体，即存储跨节点之间的访问延迟是一致的，这确保了实际使用环境中的稳定性能，避免松散耦合架构导致的性能不确定性。

笔者认为，对于性能和可靠性要求较高的应用来说，多控制器紧耦合集群架构的磁盘阵列访存很直接不需要某些转发，从理论上讲应该占些优势。这类磁盘阵列在可靠性和性能方面继承了传统多控制器架构。

而采用松散耦合的单控或双控集群架构，虽然提供优秀的多方面扩展能力和极低的成本，但在访问延迟等性能方面以及系统部件可靠性上均差距较大，并不适合于延迟敏感的事务密集型应用。

当然多控制器紧耦合集群架构的最大劣势在于其成本相对较高，如何应对众多新型多控制器架构的价格战，成为该类存储系统生存发展的关键。

随着技术的不断发展和应用模式的不断演化，一些破坏性的创新技术也会不断涌现和完善，说不定未来有一天，松耦合的集群架构将逐渐占据更大存储市场份额，就像今天的集群服务器一样占领部分高端服务器市场。但即便如此，大型机及小型机仍然有其生存和发展空间，起着不可替代的作用，仍然是喜欢它们的老客户之最爱。