Storwize V7000剖析：走进存储系统的SVC

扩展：双链内藏玄机

IBM掌控设计，Xyratex制造，决定了Storwize V7000的硬件架构与LSI统管设计制造的System Storage DS3500，有着太多的不同。

为什么不拿V7000与DS5300对比呢？因为DS5000系列的后端驱动器接口技术还是共享环路式的4Gbps FC-AL，不像V7000和DS3500，都采用交换式的6Gbps SAS，具备可比性。

不过至少有一点DS5300和DS3500是相同的，即两者的双控制器均采用负载均衡设计，彼此都有专用的驱动器接口链路与对方的后端连通：DS5300是每个控制器的两个4Gbps FC驱动器芯片中，有一个用于连接另一个控制器的4Gbps FC-AL环路交换机（Loop Switch）；DS3500则是每个控制器的6Gbps SAS RoC（RAID-on-Chip，片上RAID）专门拿出一条6Gbps SAS x4链路，与另一个控制器的6Gpbs SAS扩展器相连。

DS3500每个控制器的SAS RoC（Core Processor）各有两条6Gbps SAS x4链路（红色圆框中），分别与本控制器及另一个控制器的6Gpbs SAS扩展器相连

Storwize V7000的每个控制器都是一个SVC节点，两个控制器正好构成一个I/O组，采用Active-Active（双活）架构，互为故障转移（failover）节点。与通常一个SVC I/O组中的两个节点相比，Storwize V7000控制盘柜中的这两个节点控制器之间通过SBB高速背板有一条PCIe x8的链路相通（以保证Cache的一致性），耦合更为紧密。

DS3500控制器中的6Gbps SAS RoC，有两条6Gbps SAS x4链路，分别连接到两个控制器的6Gbps SAS扩展器，扩展器除了提供到本（控制）盘柜内每个驱动器的直接连接，还有一条6Gbps SAS x4链路用于连接扩展盘柜（Expansion Enclosures）。相比之下，Storwize V7000控制器中，6Gbps SAS控制芯片（SAS Controller）也是用一条6Gbps SAS x4链路与6Gbps SAS扩展器相连，但另一条6Gbps SAS x4链路却不是通向另一个控制器，而是和6Gbps SAS扩展器一样，用于连接扩展盘柜。

Storwize V7000节点控制器架构图，注意红色椭圆框中的两条6Gbps SAS x4链路，都通向SAS扩展端口连接扩展盘柜，区别在于左侧链路①（SAS Chain 1）直接由SAS控制芯片引出，右侧链路②（SAS Chain 2）则已经过一个SAS扩展器，好在该SAS扩展器右侧连接的控制盘柜内的驱动器也属于SAS Chain 2；而在红色长方框中可以看到，SAS Chain 1和2（①和②）构成了SAS控制芯片的两条下行链路，单向带宽共计4.8GB/s（每条6Gbps SAS x4链路2.4GB/s），与PCIe x8上行链路4GB/s的单向带宽基本匹配。由于控制盘柜里的驱动器属于SAS链路②，所以第一个扩展盘柜一定要挂在SAS链路①上，以保证两条SAS链路的带宽都能得到利用

这样一来，就在扩展盘柜的连接方式上，出现了一系列不同于DS3500的结果。

首先，Storwize V7000的每个控制器上有两个用于连接扩展盘柜的SAS端口，分别属于不同的链路——SAS Chain 1和2。SAS Chain 1直接挂在SAS控制芯片上，而SAS Chain 2来自控制器内的SAS扩展器。也就是说，从控制器出来的时候，SAS Chain 2已经比SAS Chain 1多经过了一个扩展器。所以，SAS Chain 2所能连接的扩展盘柜比SAS Chain 1少一个（每个扩展盘柜内都要经过一个扩展器），分别是4个和5个。但是SAS Chain 2并不吃亏，因为控制盘柜内的驱动器归它管。

DS3500控制盘柜（左侧最上方单元）的一个SAS扩展端口就可以访问所有的扩展盘柜（最多7个），Storwize V7000控制盘柜（右侧中间Control Enclosure）的一个SAS扩展端口只能访问半数的扩展盘柜（最多5个），一个节点控制器需要两个SAS扩展端口配合才能访问所有的盘柜——蓝色连线所示为SAS链路1，不包括控制盘柜内的驱动器，共5个扩展盘柜；绿色连线所示为SAS链路2，包括控制盘柜内的驱动器，还有4个扩展盘柜，一共也是5个盘柜

无论如何，两条SAS链路各自管理5个盘柜，加在一起是10个盘柜。Storwize V7000的扩展能力是以盘柜为单元来计算的，同样10个盘柜，根据具体配置的不同，所能支持的驱动器数量有很大差别：

如果都用24个2.5英寸驱动器的盘柜（控制盘柜2076-124和扩展盘柜2076-224），就达到支持驱动器数量的最大值240个；
如果都用12个3.5英寸驱动器的盘柜（控制盘柜2076-112和扩展盘柜2076-212），则仅能支持120个驱动器；
如果混合使用不同规格的盘柜，则支持的驱动器数量介于120和240之间，取决于采用的组合方式。

2个2076-124/224盘柜（24个2.5英寸驱动器）和8个2076-112/212盘柜（12个3.5英寸驱动器）组合的Storwize V7000配置，驱动器总数上限为144个（48个2.5英寸，96个3.5英寸）

DS3500则是一条SAS链路贯穿所有盘柜，并且不管采用何种盘柜，只要驱动器配满，总数都能达到96个。换言之，都用24个2.5英寸驱动器，最多4个盘柜；都用12个3.5英寸驱动器，最多8个盘柜。