并行I/O亟需敲定标准

适度建议

在HPC以外的领域执行具有本地I/O的应用，可能会衍生出关于并行应用的一个鸡蛋相生问题，因为并行I/O至并行文件系统是相当缓慢的。此外，也是相当重要的一点，我们还没有并行I/O接口的标准，许多应用可以使用这些接口，并行文件系统厂商也可以为不同程度的优化而请求相应接口。

总之，我们需要彻底重新思考I/O。ANSI T10 OSD标准虽可为I/O提供一个更新框架，算的上是一个相当不错的开端，但可惜的是，作为一个行业内标准的它已经基本结束。它在不恰当的时间发布，而存储行业也错误地忽视了重新思考I/O的重要性。即使ANSI T10 OSD成为了一个行业标准，也没有人会从语言的角度讨论并行I/O框架。C++、C、Java、数据库和其他语言都被标准POSIX 接口所束缚，而没有机会执行并行I/O。

不可否认，大多数搜索引擎都是与本地文件系统进行通信，不仅是因为现在还不存在并行I/O标准，并行文件系统在硬件方面的成本也是其中的一个原因，但是许多搜索引擎都是通过使用每个节点的多个副本来解决节点失效的问题。该架构的刀片服务器、本地网络、同步网络、能源和冷却都需要花费成本，当它们与并行文件系统相比较的时候，可能这些成本就没那么容易被了解和理解。当然这也无关紧要，因为其中并没有标准来衡量。

因此，笔者向包括标准组织，硬件厂商，数据库专家，语言开发者在内的团体呼吁，需要开发针对多种语言的并行I/O标准，以支持所有特性和MPI-IO等功能。

新的并行I/O标准将需要更新POSIX，使应用写入通过I/O相关信息进入文件系统，以提高性能。这种新的生态系统也将需要调试器，从而允许用户调试并行I/O错误。这就意味着OpenGroup（控制着POSIX）将必须与ANSI委员会做一些重大的改变，就像IETF为了NFS所做的一样。

这其中可能还需要大家的共同努力，才会最后拥有一个良好整合的I/O栈，它具有丰富的标准化接口，能够满足不同应用环境的需求（不管是数据库、搜索引擎还是HPC），因为所有的这些应用需要或可能需要并行I/O。

或许有人会说这个设想是痴人说梦，因为存储如果不能变得易于使用和扩展，以符合带宽要求，就很可能变得毫无意义。而令人遗憾的是，这种设想要真正实现的几率与中彩票的几率差不多。