低端存储也疯狂？IBM DS3500之性能优化篇

IBM Systrem Storage DS3000系列入门级SAN阵列、DS4000/5000系列中端存储系统，在市场中经过长期考验，架构比较成熟而稳定，性能和容量等方面能够满足对应用户群中大多数的需要，因此受到广泛的认可。由于该产品家族OEM自NetApp的E系列（原LSI Engenio，去年被NetApp收购），IBM DS3500的原形产品——E2600也以同样的形式或者有一定变化地出现在戴尔PowerVault MD3200/3600系列、SGI InfiniteStorage 5000等产品上。这些系统几乎可以说在整个低端SAN阵列市场中占有最大的份额，每一次新品发布/规格提升都被企业存储行业所关注。

IBM DS3524（24个2.5英寸驱动器）。DS3500系列另有一款12个3.5英寸驱动器的DS3512，以及同样为2U高度的EXP3512和EXP3524 12/24盘位6Gb/s SAS JBOD扩展柜

回顾：架构设计、初始性能及Turbo选项

在《戴尔MD32/36更新：120、192驱动器可选》一文中， 

“IBM DS3500在2011年上半年就已经增加支持到192块盘。3.5英寸3TB 7,200rpm近线SAS驱动器、2.5英寸900GB 10,000rpm和1TB 7,200rpm都是随着去年10月IBM磁盘存储新品发布时的多款型号一同加入。而200GB和400GB的SSD（固态驱动器）则是原来没有的，考虑到戴尔MD3200/3600系列从发布至今只支持一款149GB SSD以及机械硬盘列表中的细微差别，可以看出IBM对DS3500的定位还是要稍微高一些（或者说覆盖的用户群更广），而Dell则更偏重于SMB市场。　　

IBM还对此进行了限制说明，每个系统（包括DS3500控制器和所有连接的EXP3524扩展单元）最大支持20个SSD。限于其控制器处理能力和SSD相对高昂的价格，这个数量对于用户来说已经足够了。”

在《SPC-1：闪存 vs.磁盘新旧势力的战场》一文中，我们还提到过：

“来自NetApp E2600原型系统的High Performance Tier，戴尔PowerVault MD3200/3600系列产品和SGI称其为高性能层级，在IBM DS3500上则叫做Turbo Performance。它是一个可以在控制器Firmware层级激活的选项，需要单独购买。根据笔者的经验，High Performance Tier应该是允许将不同LUN选择分配给A/B控制器（注意：不是同一个LUN在2个控制器间自动负载均衡），以实现Active/Active（双活动）配置最大发挥性能。而默认情况下只能分配给第一个控制器，在它出现故障时才能由另一个接管上面的LUN...

可以从侧面看出，该产品家族（包括DS3500、MD3200/3600和SGI 5000-SP）单个控制器的IOPS处理能力在48个高转速SAS硬盘的情况下还不会成为瓶颈；对于曾经的满配——96个驱动器（目前增加到支持192个），加上High Performance Tier才能比较充分地发挥其性能。”

关于DS3500以及上面提到的相关产品，笔者曾经陆续写过不少东西。上图是在2年前IBM的发布会上列出的性能指标，这里我们再来回顾一下包含有红字的两列——即Base（基本）和Turbo（激活Turbo选项）状态的DS3500。

戴尔PowerVault MD3200/3200i的控制器结构图，左边是iSCSI主机接口的MD3200i，而右边为6Gbps SAS主机接口的MD3200（相当于SAS主机接口的NetApp E2600和IBM DS3500）

由于IBM没有公布DS3500如此详细的控制器结构图，在这里我们引用一下戴尔PowerVault MD3200系列的资料作为参考：　　

“戴尔隐去了右侧MD3200控制器中的2颗主要芯片，它们分别是和左边一样的包含了800MHz PowerPC处理核心的6Gbps SAS RoC（RAID on Chip）、以及36端口SAS扩展器。整个方案中还有2个比较重要的芯片，即总共支持32个lane的8端口PCI-E交换芯片和位于它上方的主机接口扩展子卡，在这里左右两边就不同了：MD3200i使用的是一颗提供4×1Gb iSCSI端口的以太网控制器（有可能是MAC+PHY），而MD3200则是一个IOC（8端口SAS控制器芯片）。

我们清楚的看出右侧戴尔MD3200的结构图与IBM DS3500中的SAS主机接口配置完全相同，DS3500使用了16端口的SAS RoC，因此标配2个SAS主机连接，而iSCSI和FC的配置只是将IOC换成了以太网（带有TOE）或者光纤通道接口子卡。

我们还发现整个控制器设计中的I/O带宽瓶颈在于RoC和SAS扩展器之间的x4 SAS连接，它的最大接口速度是600×4=2400MB/s，限制了后端连接磁盘的带宽。不过根据同样使用800MHz PowerPC的LSI MegaRAID系列6Gbps SAS RAID卡的最高性能指标（读：2800MB/s、写：1800MB/s以上）来看，目前这一代RoC的处理能力基本也处于同一范围，而且由于外置控制器的磁盘阵列连接主机需要经过比RAID卡更多的协议转换，其单控制器性能低于RAID卡也是可以理解的。”