NetApp E5400释疑：Engenio变与不变？

E2600升级：192个驱动器、万兆iSCSI

在本文第二页中，我们已经不可避免地谈到支持180个驱动器的NetApp E2600-60（原LSI Engenio 2600-HD），由于有它在前，我们对E2600的驱动器数量增加到192个并不感到多么意外。同时加入的新特性还包括可选4个10Gb iSCSI主机接口（每控制器2个），其实只是将2600的HIC（主机接口控制器）子卡更换为双端口万兆以太网控制器罢了，本来就有厂商提供可选2 x 10GbE或者4 x 1GbE部署的单芯片方案。

不过笔者曾经认为，支持192个驱动器对于2.5英寸24盘位的2600-24控制器/JBOD扩展柜来说相对不算复杂，将NetApp DE5600（JBOD）级连的数量从3个增加到7个就可以了；而支持12个3.5英寸驱动器的2600-12，则意味着DE1600需要从原来的7个增加到15个。这样可能会带来什么不良影响吗？

IBM System Storage DS3500低端磁盘阵列与NetApp E2600同步升级，戴尔则只推出了万兆iSCSI接口的PowerVault MD3600i/3620i（支持3.5/2.5英寸驱动器），暂时没有增加驱动器数量。上面截自IBM DS3500最新的Data Sheet文档，现在它也能最多支持到192个驱动器和15个EXP3512扩展柜（或者7个EXP3524）

最近升级之前的IBM DS3500（3.5英寸驱动器）满配连接示意图，一共8个盘柜，最上面的是控制器所在的主盘柜DS3512，其余7个是扩展柜EXP3512

在这个示意图中，我们看到厂商推荐左侧的控制器从上到下级连JBOD，而右侧控制器则先连接最底下的JBOD，而后再向上级连。这样做的好处是什么呢？

由于每台JBOD扩展柜的核心就是位于ESM（环境服务模块）上的LSISAS2x36——36端口6Gb/s SAS扩展器芯片，因此每增加一个JBOD级连就意味着数据流多经过一个SAS扩展器，通信延迟则会相应增大。那么上图中理想的拓扑情况就是：控制器柜下面的4个JBOD使用左边的链路，而另外4个JBOD（也就是靠近底下的）通过右侧控制器的扩展端口来连接。如果冗余链路的一侧由于故障而中断，通信路径和延迟就会受到影响，最坏的情况是一个RAID控制器损坏，只剩下左/右一边的级连数据路径可用。

尽管上图列举的是SAS 1.0规范（即3Gb/s SAS）中的不足，但“超过4个JBOS深度时I/O延时偏高”的问题如今依然存在，只是程度不同罢了。我的同事，CBSi企业解决方案中心首席分析师张广彬在“Storwize V7000剖析：走进存储系统的SVC”一文中就曾提到：“Storwize V7000的扩展能力是以盘柜为单元来计算的，两条SAS链路各自管理5个盘柜，加在一起是10个盘柜。如果都用24个2.5英寸驱动器的盘柜就达到支持驱动器数量的最大值240个；如果都用12个3.5英寸驱动器的盘柜则仅能支持120个驱动器。”

相比之下，如今NetApp E2600/IBM DS3500在配置192个3.5英寸驱动器时最多可能的JBOD级连数量达到了15个，那么从控制器到最远端JBOD的延迟大小可想而知。如果在这种情况下跨不同JBOD中的硬盘做RAID，或许达不到理想的性能吧？

有人说，这里的192个驱动器在投标时会增加有利因素（技术规格中的扩展性）。我们在此不想否定它在扩大容量（翻倍）方面的意义，但用户也不要指望性能总是随着驱动器数量一同提高。另外我们建议在购买和部署之前，还是应该参考一下厂商提供的“最佳实践”等技术文档吧？