如何将1500节点无盘服务器群发展成为完全虚拟化系统

    通过 10GBE 实现 iSCSI

    不久以前，在 blade.org 赞助的一次活动中有人要求我就 Kilo-Client 的设计发表演讲。我讲完之后，几乎在场的所有供应商都希望把他/她的新技术出售给我用于 Kilo-Client。某个销售人员过度热情，我甚至躲进了洗手间！

    到家时，我看了一下那些硬塞给我的所有名片，发现有几个供应商可提供 10 千兆位以太网产品。我给他们一一打了电话，最后我们通过 IBM Blade Center 制作了一个测试套件，连接 NetApp 集群的 NetXen 控制器也配备了 10 千兆位以太网卡。最后确定了采用端到端 10 千兆位以太网的配置，可使用 iSCSI 进行无盘启动。我们将该配置带到了新奥尔良的一次活动当中，在那里引起了广泛的关注，该硬件又相继在巴黎和新加坡展出（尽管我没有去）。

    到目前为止，我们已完成大部分功能测试，该体系结构让我们能够对 10 千兆位以太网与光纤通道以及希望测试的其它产品进行大范围的性能比较。

    自动化配置管理

    创建 Kilo-Client 时，我们有一些脚本可用来帮助处理配置及相关事项。由于可以随意使用，这是薄弱的环节。现在，我们的工作遵循可预测模式，这包括规划'配置'监控'根据负载调节资源'撤消配置'重新规划，等等。

    我们有一个自动化框架，可以处理所有这些任务的大约 70%，这是一个很大的进步。受困于可扩展性问题的客户对我们的管理方法很感兴趣，因为它体现了数量极为有限的员工可以如何有效地管理动态、高容量、高要求的环境。

    简化配置

    在 Gartner 的一名分析人员指出 Kilo-Client 是现实中的一个规模最大、最好的简化配置实例之前，我实际上从未将"简化配置"这个术语与 Kilo-Client 关联起来。他说得对，我们的实验室极具空间效益，可提供 1500 倍以上的容量效率，因为克隆映像 (LUN) 仅占用启动映像更改所需的额外磁盘空间。

    比如，我们想使用 Red Hat Linux 启动所有 1,498 个服务器。我们的测试实验室需要的存储总量是 7.63TB（假定七个启动存储系统每个需要 20GB，每个刀片需要 5GB）。在传统的服务器群（甚至采用传统的无盘启动）中，每个服务器足足需要 20GB，这样我们的存储总量就需要 30TB。天啊！正如我前面所说，配置和管理集群所花的时间比运行测试的时间还要多。

    针对紧密配置的冷却设计

    人们经常问我一个问题，"您究竟有什么办法来冷却这个庞然大物？"其部分原因与我描述的简化配置的特点有关：它需要冷却的热量远不及传统环境中的热量。

    固然，将 1,500 个刀片、7102 个 Fabric 端口和 87 个存储控制器集中到一个区域，设备确实是非常密集。在我们原来的数据中心，我们采用的是一种热通道/冷通道方法。我们在设备的前面（吸入空气的地方）添加了额外的冷却设备，从而制作了一个冷通道。这使得由前至后形成了 30 度角。

    最近我们迁移到了新的数据中心，并在新实验室中采取了一种不同的方法-建立了一个制冷室。我们购买了全新的地板到天花板式机柜，并确保由前至后的所有缝隙都已完全密封，从而形成一个空调系统。设备前面的冷气只能在设备内流动，并且也决不会与设备后面散出的热气混合在一起。冷空气一侧的气压也要稍高一些，以确保气流仅往一个方向流动。使用此方法，我们在实验室中实现了约 8 千瓦的冷却效果，而先前的设计只能达到 4 千瓦。

    有时，一些来访者会询问我们是否使用受控电源条带来给那些未使用的客户端断电。实话说，我们甚至都没这样想过，因为从第一天起我们的目标就一直是要达到 100% 的利用率。这些服务器都受到 100% 的利用，并且会彻夜运行自动化测试，因此从来不会关闭。