赖能和回答石油勘探运用SSD的4个问题

给地球做CT，寻找石油和天然气，是油气勘探行业的主要任务，由此产生的数据比一般行业更多更快更复杂，高性能高配置的系统自然是必备的，同时也要有“不一般”的技术来帮助完成这个重任——SSD存储。

在前不久的2013年华为云计算大会上，中国石油集团东方地球物理（BGP）公司研究院赖能和总工程师，和我们分享了中石油在地震勘探海量数据处理中使用SSD存储的经验体会。

BGP是中国石油天然气集团公司独资的地球物理专业化技术服务公司，主要从事陆地、浅海地震勘探采集、处理、解释及物探装备和软件研发，业务分布在全球34个国家，陆上地震勘探市场份额居全球第一位。目前BGP有2.6万员工，配置8万CPU核，超过25PB存储，运算能力约2PFlops。

很多年前中石油就开始采用SSD存储，“为什么我们决定使用固态盘，主要看重它在IOPS性能和降低能耗方面的优点”。赖总工程师表示，存储已经从原来的辅助角色转变为架构的主角，现在中石油在存储上的投资已经远远超过了服务器，原来服务器投资占70%，现在存储投资超过了60%。

问题一：在油气勘探行业，海量数据与处理具有怎样的特点？

回答：在这个行业中海量数据和处理具有数据量巨大、数据类型和来源种类单一、计算量巨大、处理流程复杂、硬件配置高的五个特点：

- 数据量巨大：由于采用连续记录或者增加采集点和接受点的密度很高，所以每天产生大约7TB的生产数据。
- 数据类型和来源种类单一：数据都是由地震车人工激发产生，定点仪器接收，数据类型和来源都是很单一的，而且精度越高密度越高，数据价值就越高，这时下热议的“大数据”是有本质区别的
- 计算量巨大：地球物理算法复杂，高精度的地震成像需要巨大的计算资源，现有计算机处理能力还不能做到最高水平。
- 处理流程复杂：频繁的I/O和数据库操作，包括处理模型、数据存储和数据接口的整个流程非常复杂
- 硬件配置高：对密集型科学计算，存储硬件的资源配置要求很高。

问题二：海量数据给石油行业带来了哪些机遇与挑战？

回答：首先，地震数据快速增长对存储提出巨大需求。在石油地震数据采集过程中，使用高清晰方法采集到的数据量是常规方法的20多倍，目前中石油BGP公司每年新增存储容量10PB多。

其次，对传统的HPC软硬件架构提出了新的挑战。普通的服务器和存储做海量数据处理都是不符合要求的。如何快速地把数百TB数据输入HPC，快速处理、质量检查、安全存储与拷贝数据，是我们目前面临的最大挑战之一。

因为在架构配置方面，要决定处理海量数据选择什么样的内存、磁盘还是闪存、网络、外设、压缩、备份、CPU和GPU、系统应用效率等多个方面的因素。软件和硬件之间还需要进行配置的协调，每年我们会投入大量资金研究这个问题。

最后，高能耗与制冷是数据中心面临的新问题，以及相关的成本也是不容忽视的。中石油在全球有23个数据中心，每天电费大约6万元，一年总电费高达2000多万元。

问题三：如何解决海量数据处理的问题？

答：我们主要从性能、配置、带宽、效率和吞吐量五个方面着手解决海量数据处理的问题：首先，选择最先进的CPU和PCIe架构，例如，从Westmere升级到Sandy Bridge，从至强5600审计到E5-260，从6核增加到8核，从PCIe 2.0升级到PCIe 3.0；采用大内存和大内置盘的胖节点作为计算节，内存从原来的64GB增加到128GB，内存通道有3条增加到4条；每个节点的内置盘从1.2TB增加到3TB；采用全线速、无阻塞的高速网互联；采用比普通存储更高效的高可扩展并行存储系统；针对不同应用选择不同的计算与存储软硬件架构和介质。

问题四：中石油现在有哪些成功应用SSD的方案？

回答：中石油内部有很多针对不同应用场景使用SSD的方案，性能等方面的提升是非常明显的。不过，我们之前和天河一号A进行指标对比发现还存在一定差距，主要问题在网络和存储架构。网络方面，天河一号A采用160Gb双向网络，存储架构利用率更高，现在我们还在不断对系统进行改进。

针对I/O密集型应用采用高性能并行处理系统，这个例子中系统配置了最新的英特尔至强E5-2670处理器，2000多TB并行存储配合SSD盘阵。“”光靠普通盘阵不能解决IO问题

针对计算密集型应用，采用CPU+GPU协同处理加速器+GPU图形处理器的配置

高性能并行存储系统，可以同时运行500个多进程，不仅应对海量数据的并行存取问题，而且还做到快速的响应和交互处理

并行文件系统。三年前中石油开始采用并行文件系统，整个使用率至少提高两倍

SSD解决CPU受限于IO瓶颈的问题，特别是数据库随机读写速度。上图是一个小型数据中心的配置，其中配置了28PB的硬盘存储容量，耗电量233千瓦，存储的功耗甚至超过了服务器的功耗。而且存储的投资远远超过了服务器

用SSD作为服务器内置盘做临时交换区，性能提高2倍

全闪存的配置

SSD存储因为具有高IOPS、低功耗、低热量、低噪音和低延迟的优点，已经在油气勘探行业中被广泛使用。随着SSD盘性价比的提高，我们也期待高性能、更稳定、更高效、横向扩展性更好、能提供PB级容量的SSD分级存储在是由勘探海量数据处理中得到应用。

“如果未来SSD价格能降下来的话，我们可能会大量地使用SSD，价格还是目前制约我们使用的主要原因。”