8G之路：IBM DS5300存储系统详测

极速传说：DS5300以一当四

2008年9月，IBM宣布推出System Storage DS5000系列之后不久，坐拥地利的美国知名分析机构ESG（Enterprise Strategy Group，企业策略集团）即发布了DS5300的分析报告。ESG实验室采用了两台强大的IBM x3850服务器，每台服务器均配有4个4核3GHz的Intel Xeon处理器和128GB内存，以及4个双端口的4Gbps FC主机总线适配器（HBA），连接到一台思科（Cisco）MDS-9513 FC SAN交换机。一台带有256个15000RPM FC硬盘驱动器的DS5300通过16个4Gbps FC端口，经由MDS-9513交换机与两台服务器相连。

ESG实验室的测试配置，交换机两侧的带宽匹配（均为16×4Gbps），可以看到DS5300的4U控制器单元和16个3U磁盘扩展柜（16 × 16 = 256个驱动器）

就当时而言，256个驱动器已经是DS5300的最大配置，对8Gbps FC的支持也尚未提供。不过，DS5300后端用于连接磁盘扩展柜的16个4Gbps FC端口，与前端的主机端口完全匹配，带宽总和均为6.4GB/s，加上控制器内部的无阻塞交换架构，整条数据链路上不存在瓶颈。因此，ESG只用了半数的FC驱动器就获得了6.2GB/s的持续读聚合吞吐量，非常接近6400MB/s的理论值；而在持续写方面，5.85GB/s的测试结果更是超过了5200MB/s的官方指标。ESG在报告中指出，“这些结果几乎达到了前一代的IBM DS4800的4倍”，很好地吻合了前面两页的数据对比和技术分析。

现在，DS5100/5300能支持的驱动器数量超过了440个，前端接口亦升级到8Gbps FC，但是后端带宽的状况并没有改变。所以，我们没有必要重复ESG所做的极限测试，而应将关注点放在刚开始为存储系统所用的8Gbps FC技术上。与4Gbps FC相比，8Gbps FC将每条链路的传输能力提升了一倍，这意味着同样的带宽只需要一半的线缆、交换机和HBA端口，从而简化用户的基础设施，还可以节省投资。以前述ESG的测试配置为例，把每台服务器上的双端口FC HBA从4个减少到2个，就可以实现一样的效果。换言之，8Gbps FC能够减少高性能服务器所需的FC HBA，达到更好的成本效益。

我们的测试环境总体拓扑与前述ESG配置近似，都是2台IBM System x系列服务器、一台FC SAN交换机，DS5300的驱动器配置情况也相同，区别主要体现在8Gbps FC的环节（Brocade 300与DS5300之间还有7条4Gbps FC链路未标出）。总体而言，Brocade 300交换机两端FC链路的聚合带宽，与服务器一侧是4.8GB/s，与DS5300一侧是6.0GB/s，详见下文

基于这样的思路，我们在搭建测试环境的时候没有刻意追求服务器的高配置。2台IBM System x3550服务器均配备双路Intel Xeon 5120处理器和4GB内存，以及4Gbps和8Gbps双端口FC HBA各一：4Gbps FC HBA是与ESG配置中相同的QLogic QLE2462，8Gbps FC HBA则是Brocade 825，但在进行8Gbps与4Gbps单链路吞吐量对比的时候换成了单端口的Emulex LPe1250。一共4个FC HBA上的8个端口，聚合带宽为4.8GB/s（[8Gbps × 2 + 4Gbps × 2] × 2 = 48Gbps），通过Brocade 300 8Gbps FC SAN交换机访问DS5300。

x3550服务器安装了2个Brocade 825双端口8GFC HBA，和2个QLogic QLE2462双端口4GFC HBA

供我们测试的DS5300，磁盘配置与ESG报告中的情况一样，也是256个15000RPM 4GFC硬盘驱动器，16个4Gbps FC-AL后端驱动器扩展端口（聚合带宽6.4GB/s）。不同之处体现在前端接口：除了7条4Gbps链路（测试环境拓扑图中未画出），还有4条8Gbps链路，与Brocade 300交换机之间的聚合带宽为6GB/s（4Gbps × 7 + 8Gbps × 4 = 60Gbps）。不难算出，在这个配置中，我们可以期待接近4.8GB/s的聚合吞吐量。