iSCSI + SAS：PS5000XV与MD3000i的别样生活

硬件结构（下）：SAS扩展器不足导致无奈

PS5000XV的控制器设计十分紧凑，在较小的空间里蕴含着比MD3000i的控制器更大的能量。PS5000XV每个控制器具有1GB DDR ECC内存（双控制器合计2GB），是MD3000i的两倍，并同样受到锂离子电池长达72小时的掉电数据保护。更重要的是，PS5000XV的控制器采用了AMD Opteron（皓龙）处理器，运算能力明显强于专用的IOP（I/O处理器），可以胜任自动精简配置（thin provisioning）等复杂管理任务。

与AMD-8132 HyperTransport PCI-X 2.0 Tunnel直接相连的是其上方的Marvell 88SX6041 PCI-X 4端口SATA控制芯片，和右上方的LSISAS1068 PCI-X 8端口SAS控制芯片，后者又与右下方的LSISASx12A 12端口扩展器相连

为支持AMD Opteron处理器，PS5000XV的控制器采用了一颗AMD-8132 HyperTransport PCI-X 2.0 Tunnel芯片。AMD-8132具有两个PCI-X 2.0桥，可以各连接一个8端口的SAS控制芯片，正好能提供16个SAS端口，满足16个硬盘驱动器的需求。但是，实际情况却不是这样：可能是一个具体用途未知的4端口SATA控制芯片Marvell 88SX6041占用了一个PCI-X 2.0桥，使得AMD-8132只连接了一个8端口的SAS控制芯片LSISAS1068，再由后者连接一个12端口的SAS扩展器（Expander）LSISASx12A，凑足16个硬盘硬盘驱动器需要的SAS端口。

通过SAS扩展器（LSISASx12A）与SAS控制芯片（LSISAS1068）相连，比直接与后者相连，所能获得的带宽显然要低一个量级……另外，LSISAS1068是一个PCI-X 1.0规格的芯片，总线带宽也只有1.066GB/s，不到8个SAS端口2.4GB/s理论带宽的一半

很显然，LSISAS1068不能把全部的8个端口都用来连接LSISASx12A——那意味着两者对外提供的SAS端口只有4个，除非还有一个12端口扩展器（12 × 2 - 8 = 16）。然而，在PCB的背面并没有另一个LSISASx12A，惟一的可能就是如上图所示，LSISAS1068拿出2个端口与LSISASx12A互连，二者之间的带宽为6Gb/s。这样一来，直接与LSISAS1068相连的6个硬盘驱动器，每个都可以独享3Gb/s（300MB/s）的带宽，而通过LSISASx12A连接的10个硬盘驱动器，却总共才有6Gb/s（600MB/s）的带宽，分摊到每个头上只有0.6Gb/s（60MB/s），待遇是严重的不平等！

PS5000系列的操作系统保存在一张CF卡上，节省了硬盘驱动器的使用

不平等归不平等，关键在于有没有瓶颈。表面看来，通过扩展器连接的10个硬盘驱动器，每个所能获得的带宽只有60MB/s，低于其持续传输率，也就是说，LSISASx12A与LSISAS1068之间的带宽是瓶颈所在。但是，我们要考虑到，硬盘驱动器的数据传输能力最终是要为主机服务的，而PS5000XV控制器的3个1Gb/s iSCSI端口，捆绑在一起的带宽亦不过3Gb/s，约合300MB/s，仅与一个SAS端口相当，才是真正的瓶颈所在。因此，8端口SAS控制芯片与12端口SAS扩展器联合提供16个带宽不均等的SAS端口，以PS5000XV的实际情况来说，是可以理解的。

小结：前面已经多次提到，使用SAS硬盘驱动器的iSCSI存储系统，主要面向对带宽要求不高的IOPS型应用，因此就PS5000XV而言，千兆以太网还算能够接受。但是，即便用了SAS扩展器，也本可以不设计得这么“扭曲”——如果用24端口的扩展器，一个便能解决问题，分到每个硬盘驱动器的理论带宽有1.5Gb/s，足够应付。

不过，我们也要考虑到，PS5000XV实际上是2006年第三季度推出的产品，从SAS技术的角度看与MD3000/MD3000i属于同一代。那时端口数量在20个以上的高端口数扩展器还很不成熟，兼容性问题层出不穷，所以PS5000XV使用12端口扩展器应属无奈之举。随着技术的进步和向SAS 2.0的过渡，高端口数扩展器必将且必须具备足够的可用性，以迎接万兆iSCSI时代的到来。