万变归宗：关键业务看高端 高端存储看架构

问世间是否此山最高

或者另有高处比天高

在世间自有山比此山更高

在我心中世间始终你好

……

前不久上映的周星驰大作《美人鱼》中，莫文蔚和郑少秋合唱的这首老歌《世间始终你好》，唤起了不少粉丝的共鸣。笔者认为，这首歌用来形容高端存储也颇为贴切：别看这几年关键业务领域AFA那么打眼，但还处于社会主义初级/阶段，国产高端存储人家在闷声发大财、低调练大招呢好不好。

何以见得？您看全闪存被热炒，但2015年全闪存市场份额只有中国存储整体市场的3%，即使投入再多资源进来，收效估计能在2016年超过两位数就算不错了。相应的传统高端存储市场虽然在缓慢收缩， 但仍是很多大型企业关键数据平台的首选存储基础设施。甚至可以说，高端存储里的高可靠架构和亮瞎眼的高级数据服务，是AFA打马狂追的方向。（说的远一些，没准高端和AFA这俩以后两个巴掌拍在一起了，变成基于固态介质的高端存储呢，到时候高端存储还是关键业务领域的"世间始终你好"。）

刚才扯得远了，现在咱看干货。存储系统是否可靠是关键业务得以稳定运行的根本。高端存储系统凭借着其在可靠性方面的独特设计，被广泛用于金融、电力等各行业的关键业务。

AS18000是浪潮的一款高端存储系统，其在架构上与业界其他高端存储产品有着本质区别，也正是这种架构成就了该系统相对更高的可靠性。本文中，笔者就针对AS18000高端存储系统的整体架构做一个详细分析以及对比。

中低端存储：后端共享架构

中低端存储系统采用的是双控共享访问后端的全部磁盘扩展柜，形成如下图所示的架构：

双控存储架构图

该架构是传统存储系统的关键点之一，正式利用后端共享存储的方式，才使得两个控制器之间才能够在任何一方出现故障，或者某个链路出现问题之后，系统依然可以从另外一条路对硬盘进行访问。

多种高端存储架构：哪山更高

高端存储相比中低端存储，可靠性和性能必须更高。为了做到这两点，业界出现了多种高端存储系统架构。

SDRAM共享的高端架构：性能和扩展性不能兼顾

最早期的架构是采用多控制器（8个、16个或更多控制器），或者更加准确的说：多对儿控制器，组成一个集群，所有控制器通过某种高速网络共享访问一大片集中的DDR SDRAM，利用这片SDRAM进行消息传递从而相互协同工作，同时将其用作数据缓存。这种架构的典型代表如下。

早期高端存储架构1：点对点直连集中式数据缓存架构

早期高端存储架构2：交换式集中式数据缓存架构

其中，部分厂商在设计上增加了一小堆性能相对高一些的SDRAM内存专门用于存放元数据表、各个节点之间的消息等等元数据，也就是图中所示的Control Memory；而数据缓存的角色单独采用容量更大但是速度也低一些的SDRAM来担任。

这种架构看似与传统双控架构大相径庭，看似"高大上"，而事实上，该架构单从效率上讲，其实是有所降低的。我们仔细观察该架构就可以发现，其本质就是如下图右侧所示的架构。其将本来使用DDR接口与CPU相连的RAM，一部分搬移到外面，采用PCIE接口相连，这无疑降低了访问部分内存的性能。

数据缓存分拆、前后端IO控制分拆的高端架构

也就是说，这种通过将数据缓存分拆到外面，以及将前后端IO控制分开的高端存储架构，可以实现任意两点对等访问数据缓存，但是却降低了性能。同比而言，左侧的传统双控架构则更加紧凑，前后端的消息传递直接通过DDR接口访问内存，速度更快，但劣势是前后端耦合在一起，一旦该节点故障，则会损失一对儿前后端访问通路。

拆到不能分拆，进了死胡同

这种架构后续的发展想必大家也可以推断出，其将会继续拆分各个角色。我们可以想一下，还能再将什么拆开？对了，那就是把IO控制器与CPU松耦合分拆。IO控制器之前是通过PCIE直连到CPU的，现在，可以在所有前后端IO控制器之间增加PCIE Switch，所有的控制节点也通过Switch连接这些IO控制器。也就是如下图所示的架构。

我们再来看看厂商包装之后的图样。

美化后的架构图

从上述这种所谓"共享内存"架构的高端存储系统架构发展史可以看到， 这类架构的出发点很简单，那就是将能拆开的角色全部拆开，直到无法再拆为止，并且乐此不彼。

上述这套架构已经是分拆这条路线的终点站了，因为再也没有什么可以拆开的了。CPU和本地DDR内存不能拆开，因为这里面放的是本地OS运行代码，拆开之后时延将会非常高，严重降低性能。

分布式架构：损失性能，损失强一致性

所以部分厂商最新一代的高端已经彻底放弃了其原有架构，成为彻底的分布式架构。

采用分布式架构的高端存储

上述高端架构能够在一定程度上增加系统的可靠性，但是是以损失性能为代价。

浪潮AS18000：颜值三高的新一代高端架构

要想既不损失性能，又有足够的冗余性，那还得看另外一个派系的高端存储架构，也就是浪潮AS18000所采用的全对称式后端共享式架构。

浪潮AS18000架构

该架构的优点显而易见，其并没有将数据缓存分拆集中存放，本地CPU访问本地RAM依然使用DDR接口享受高速率，同时本地CPU也可以访问其他节点的RAM，此时则通过PCIE Switch，与前文中所述的架构相同。这样，性能不会降低。同时，由于所有的后端JBOD都可以被任何节点直接访问，而并非之前架构的同一个JBOD只能最多由两个节点访问。这就意味着，后端访问通路的冗余度可以大于2，比如，AS18000满配16个控制器，则其冗余度就是16，哪怕系统中仅剩一个控制器，整个系统依然是可用的。

冗余度16的AS18000

该架构采用PCIE Switch的NTB特性，将各个节点的一部分内存相互映射到本地，本地控制器将需要同步给远端的消息、数据写入本地的这块内存空间，底层硬件就会自动将这些消息向目标端传递。

综上所述，浪潮AS18000的全对称式后端共享架构，能够在保证性能的前提下，极大提升系统的可靠性及扩展性。这也是为何该架构如今仍然生命力顽强，而其他的架构已经陨落的原因。