IBM XIV Gen3剖析：InfiniBand、SSD缓存

统一“数据模块”、InfiniBand引领带宽提升

IBM XIV Storage System Gen3：组件和连接示意图

第三代XIV的15个节点都统称为数据模块，它们各包含：12个3.5英寸SAS驱动器、24GB内存、4核Intel至强CPU和2个20Gb/s InfiniBand HCA接口（内部节点间互连）。另有2个InfiniBand交换机提供了冗余的内部模块连接和300Gb/s的总带宽（20Gb/s ×2 ×15 /2计算而来）。

根据IBM提供的资料，第二代XIV的千兆以太网互连架构的总带宽只有108 Gb/s，与XIV Gen3之间的差距就不用笔者多说了吧。

上图中的机柜按照不同颜色示意分成4个部分：最下面“绿色”的是3个UPS（不间断电源），因为XIV节点中带有写缓存来提高性能，UPS就是为了防止DRAM中的数据丢失（这一点类似于SVC存储虚拟化设备）；在“橙色”的数据模块包围中，中间6个（满配置）“蓝色”的带有FC和iSCSI主机接口，功能上相当于原来的接口模块；而“紫色”的部分就是InfiniBand交换机。

IBM XIV Storage System系列规格表

在最新的IBM XIV规格对比表中，我们看到XIV Gen3支持的硬盘驱动器从第二代的7200转1TB或者2TB SATA，变更为2TB SAS（仍为7200RPM）。ZDNet存储时代以前就认为SAS以其双端口特性，除了会替代存储系统中高转速（10000、15000RPM）硬盘使用的FC-AL（光纤通道仲裁环路）接口之外，也将成为企业级近线驱动器的主流。同时我们也注意到XIV并没有增加对当前3.5英寸最大容量3TB硬盘的支持，不过后面我们会这种升级支持的可能性进行简单讨论。

表面上有点显得“不给力”的是，在最大CPU核心数量上XIV Gen3却从上一代的84个下降到60个（但支持超线程）。前文中已经提到XIV Gen3每个节点（数据模块）是一颗4核Intel Xeon CPU；而第二代XIV的接口模块中配置了两个2.33GHz的Intel Xeon 4核处理器（12MB缓存，1333MHz前端总线，应为至强5400系列），数据模块中则只有一颗CPU，因此6×2×4 + 9×4 = 84。

尽管现在从IBM XIV的红皮书文档中暂时还看不到XIV Gen3的硬件配置，但我们感觉其CPU应该属于Xeon 3500/5500/5600系列。总之凭借Nehalem架构集成DDR3内存控制器和超线程（Hyper-Threading）支持等方面的加强，XIV Gen3单节点的处理性能应该不会明显低于上一代XIV的接口模块，总体性能甚至会提高。

XIV的图形管理界面（GUI）：我们在IBM去年发布Storwize V7000中端存储系统时，曾介绍过它移植了XIV的GUI。另外由于V7000基于SVC（SAN Volume Controller）的存储虚拟化软件平台开发而来，同步更新软件版本的SVC管理界面也因此受益于XIV。

接下来是XIV Gen3的最大缓存到磁盘带宽由240Gb/s翻倍达到480Gb/s。通过480/15/8（/在这里表示除号）= 4GB/s，我们感觉这个数字应该是SAS控制器/RoC与主板之间的x8 PCI Express 2.0总线单向带宽，假设至少8个SAS 6Gb/s端口的带宽为4.8GB/s。那么上一代XIV的240Gb/s可能就来源于3Gb/s SAS/SATA控制器连接主板的x8 PCI Express 1.0的2GB/s带宽。

最后是光纤通道主机接口从4Gb/s升级为8Gb/s，在系统内部互连改用InfiniBand之后，前端显然也具备了提供更高带宽的能力。实现相同的主机数据访问吞吐量，现在只需要一半的端口，可以节约交换机的连接能力和线缆成本。