沃森也能DIY？打造你的专属超级计算机

在看完“危险边缘”的人机大战之后，你是否也想拥有一台自己的沃森问答系统呢？

电影《迷失太空》中的机器人Robbie、《2001太空漫游》的HAL、星际迷航那个没有名字但相当厉害的计算机、Star Wars（星球大战）中的R2D2、The Terminato（终结者）的Ahh-nold、以及《星际争霸》中的Number Six…这些一直都在不断的进化机器人可谓数不胜数，是不是也让你渴望拥有一台沃森：能够回答你所有的问题，还可能征服世界的家伙，为什么不构建自己的沃森式问答系统呢？

况且所需的基础部件还是可以找到现成的。

让我们从服务器开始，其实并没有那么多的硬件。在开发出沃森软件的测试版本之后，IBM就开始着手了BlueGene/P并行超级计算机的部分框架，它是深蓝RS/6000 SP PowerParallel计算机的第三代版本，通俗的说就是深蓝的孙子辈。对于深蓝就不用过多介绍了，它因为在1997年战胜国际象棋冠军早已扬名万里。研制沃森不仅仅是一项技术挑战，还是具有杀伤力的市场营销活动，以宣传现在基于Power7的Power系统产品系列。正因为如此，IBM可能最后将把沃森DeepQA软件栈集成到Power 750中端服务器集群。

为拥有足够的内存和带宽来储存所有必要的数据，IBM利用90台Power 750服务器组成了10个服务器栈。每个服务器装载了4个IBM 的8核Power7芯片，主频为3.55GHz。这样的配置赋予沃森2880核心和11520线程来运行软件栈。如果DeepQA软件注重线程能力，那么你也需要具有足够多线程的服务器。

支撑沃森的90台服务器总共集合了16TB的主内存，但好像并不是均匀分布于每个节点的。稍加计算得出每台服务器可拥有182GB的内存。

David Gondek是沃森项目中系统策略与算法团队中的一员，他表示DeepQA系统在主存内构建了信息数据库，其中的信息都将被输入到系统中。各个服务器之间是通过网络连接的，但显然，作为一名软件技术人员，Gondek并不知道IBM所使用的网络，不过笔者猜测是具有远程直接存取（Remote Direct Memory Access，RDMA）特性的40Gb InfiniBand或10Gb以太网，以此来加速节点间的通信。Gondek还表示，存放在内存和磁盘中的数据被复制，然后分布在系统各处，以此来获得高速度和高可用性。

沃森服务器具有4TB的数据容量，实际上可能没有那么多。IBM并没指明这个容量到底是硬盘还是闪存的容量，但如果沃森所用的大部分数据都是保存在主内存，也就没必要再使用价格昂贵的闪存技术。不管怎样，使用闪存也是有好处的，至少它不会高温运行。

Linux是 IBM POWER平台上运行速度最快的操作系统，因此IBM为Power 750选择了Linux的变体版本。在这种情况下，Novell的SUSE Linux Enterprise Server 11针对HPC负载做了许多调优以控制超级计算机，不过红帽软件在HPC领域可能技高一筹，Novell仿佛也有些前途未卜的意思：SGI公司已经证实将会在其最新的大规模并行服务器上搭载SLES 11 和RHEL 6以及Windows Server 2008，要知道它先前的服务器一般都只搭载SLES。

然而，除非你是亿万富翁，你才会考虑买下所有的服务器。不过，如果你现在只能在地下室工作，或者只能在车库中进行此项宏伟计划，你完全可以找家人支援，以订购一些亚马逊EC2计算云的服务器应用。

亚马逊在去年六月发布的Cluster Compute Instances可能是我们的首选，该集群计算实例提供33.5 EC2功率的计算单元，64位运行模式。它们还可为操作系统提供23GB的虚拟内存（这还不够），CCI下物理硬件使用的处理器插入双插槽x64服务器（基于英特尔2.93GHz 至强X5570）。

这也意味着每个插片具有8核、16线程和23GB的内存。节点与这些10Gb以太网交换机相互连接。要达到基于Power的沃森核心数目，需要360块这样的插片。要达到沃森的线程数量，需要360块插片。要达到沃森的总主内存，需要712台服务器。如果基于Xen Amazon EC2管理程序价格不是太昂贵，这些服务器好像也可以达到理想结果。如果CCI价格为每小时1.60美元，那么你将需要花费每小时1152美元的费用。