NetApp E5400释疑：Engenio变与不变？

E5400架构猜想：Xeon C5500 + Intel 5520 IOH？

NetApp E5400引起我们注意的其它规格，还包括最大24GB缓存和16个8Gb/s FC主机接口，也就是每控制器最多12GB（3条4GB内存？）和8个8Gb/s光纤通道。这让我们本能地想起集成3通道DDR3内存控制器的Intel Xeon 5500/5600，还有加入了存储特性的Xeon C5500/3500系列CPU。进一步分析，究竟是前者还是后者呢？别着急，尽管这仍属于猜测，但我们觉得距离真相已经越来越近了。

NetApp E5400技术规格（部分）

查看E5400的更多技术规格，可以发现它的控制器设计为带有自动I/O路径故障切换的Dual-Active（双活动，Active/Active）模式；另外，双控制器的数据缓存互为镜像并且提供电池备份（BBU）和离线保存到闪存的特性。这2点都与Engenio家族的E2600和E7900相同。既然先前我们已经判断E5400使用了x86平台，那么如果使用了单独的RoC/RAID卡及其本地缓存，被保护的“镜像”缓存容量写成24GB（系统内存）显然不合适。如此则表明E5400的RAID功能，很可能是通过带有XOR/P+Q硬件加速和异步内存刷新（ADR，专门用于缓存保护）的Xeon C系列处理器来实现的。见下图：

Intel在2010年春季北京IDF上介绍的至强C5500/C3500架构设计。上图右下方提到了CPU的封装为LGA1366，这样理解硬件上都是可以支持3通道内存的，那么上面的“1-3条内存通道”意味着什么呢？

接下来我们尝试进一步缩小范围。

在Xeon C5500/3500系列CPU的DataSheet中，除了下面3款LC3518、LS3528和Celeron P1053（赛扬，貌似不属于至强系列哈？）支持双通道内存之外，其余的都是3通道。我们曾分析过，IBM中端存储系统Storwize V7000使用的CPU应该是2.13GHz的Intel Xeon EC3539，具备3通道内存控制器而实际配置为双通道（2条4GB）DDR3 1066MHz内存。Intel在上表中似乎还有点笔误，不知读者发现没有？毕竟这样的细节技术文档没有一定需求的人很少去认真阅读。

下面，暂时先假设NetApp E5400使用的也是同一款——Xeon EC3539，在性能（主要是带宽）上能够满足需求吗？我们先参考一下IBM Storwize V7000的控制器结构图。

E5400的控制器与Storwize V7000相比。除了内存配置为3通道、容量不同之外；主机接口部分没有2个GbE（千兆以太网，灰色部分）iSCSI，也就是说相当于在PCIe x8总线连接一个FC控制器（红色）之外，左侧一排浅绿色的“前端 – 可插拔PCIe卡”部分连接另一个4端口8Gb/s光纤通道子卡（就像E2600选配的HIC主机接口子卡那样）。

至于后端的驱动器连接部分，尽管NetApp E5400不需要向外提供连接JBOD扩展柜的SAS端口，但仅凭一颗8端口SAS控制器加上36端口SAS扩展器的组合，也无法支持阵列内部的60个驱动器。增加SAS控制器芯片？别忘了还需要有一个PCIe x8连接到背板用于双控制器之间的NTB（非透明桥接，实现缓存镜像等数据交换），那么在此处48信道的PCIe Switch（交换）芯片作为I/O连接中心就有点捉襟见肘了。

虽然Intel 3420 PCH芯片（相当于x86架构中传统意义上的南桥）也可以提供8个PCIe Gen2 @2.5GT/s信道，但一方面它们只有PCI-E 1.0的带宽，还要受限于CPU to PCH之间的DMI连接（实际应为PCI-E 1.0 x4），使得这部分I/O相对不适合高速通信。通常用于像Storwize V7000那样的1Gb/s iSCSI以及管理网口等功能。

基于Xeon C5500/3500的平台加上Intel 5520 IOH（芯片组）提供更多的PCIe信道

Intel Xeon C5500/3500平台还有一种I/O增强的设计，即添加一颗Intel 5520 IOH芯片组专门用来提供更多的PCIe信道。Xeon C处理器通过专用的QPI高速通道连接IOH，这样就避免了Storwize V7000使用PCIe x16连接CPU和PCIe Switch造成的I/O信道“浪费”（对冲），以至于只有32个lane用于向外连接。而上图所示的方案，既释放了CPU自带的PCI Express 2.0 x16，再加上Intel 5520提供的36 lane PCI Express 2.0，这时PCIe信道数量就不再是问题了。

不过根据前面的表格，Xeon EC3539处理器没有提供QPI连接，这样它就无法支持5520 IOH和双处理器（DP）设计。那么在以上推测成立的前提下，我们只能将目光投向剩下的5款Xeon C5500系列。由于NetApp公开的资料相当有限，无法进一步判断E5400的每个控制器是否为双CPU配置，但它的处理能力不应低于Storwize V7000，因此双核心的Xeon EC5539可以基本排除？

我们再设想一下，如果是2个8端口6Gb/s SAS控制器芯片（如：LSISAS2008），分别向下连接36端口6Gb/s SAS扩展器（如：LSISAS2x36）。每组SAS Controller和Expander之间使用6条SAS Link（单链路理论带宽600MB/s）用于互相通信，而扩展器余下的30个SAS Link（2个Expander就是60）正好对应60个驱动器。

按照上面的推测，控制器前后端带宽都能比较好的发挥出来，而且单一控制器的顺序访问（至少是读）性能就可以达到6,000MB/s。那么还有别的疑问吗？当然，如果E5400单控制器设计性能没有这么高，是否也可以像E2600那样实现双控制器的负载均衡呢？

戴尔PowerVault MD3200/3200i的控制器结构图，左边是iSCSI主机接口的MD3200i，而右边为6Gbps SAS主机接口的MD3200（相当于SAS主机接口的NetApp E2600和IBM DS3500）

我们回想之前LSI Engenio存储系统的设计。以E2600为例，每个控制器的LSISAS2116 RoC（RAID-on-Chip，片上RAID）专门有一条被称为Alt Ctrl（功能控制）的6Gbps SAS x4链路，通过SBB 2.0背板与另一个控制器的LSISAS2x36扩展器相连，直接实现对所有驱动器（包括级联JBOD扩展柜中）的可访问性。

尽管我们无法确定“Alt Ctrl”与双控制器负载均衡之间的必然联系，不过可以大致分析出一点：如果NetApp E5400的也设计有Alt Ctrl数据通道，我们前面猜想的2个8端口6Gb/s SAS控制器很可能无法满足需要。这时可以考虑替换为16端口的LSISAS2116当作控制器来使用，就像LSISAS9200-16e/9201-16e外部端口6Gb/s SAS HBA卡那样。

总结在E5400身上的改变之处——控制器更换为Intel IA架构早在LSI Engenio被NetApp收购之前就已经有所透露，而且这几乎也是整个企业存储行业的大势所趋。E5400专门针对高容量密度和带宽型应用而定制，仍然没有像IBM Storwize V7000那样加入自动精简配置（Thin Provisioning）、自动分层存储、存储虚拟化等高级软件功能，这可以说是Engenio的不变之处。

最后一页，我们再来谈谈NetApp E2600的升级，当然也包括IBM相关产品的同步更新。又些什么变化和疑问呢？