大数据的海洋：荷兰水利系统如何借助技术力挽狂澜

荷兰已经在其预定工期达一年的大数据研究项目“数字三角洲”中投入了几个月。项目的预定完成时间为明年六月，如果一切顺利，该项目将帮助荷兰找到多个关键问题的答案：如何利用由水利系统所产生的数据，又该如何合理规划资金投入。目前荷兰国内有55%的居民受到洪水威胁，治理水患已经成为刻不容缓的首要任务。

荷兰水利部的“数字三角洲”项目的目标在于建立一套由IBM提供数据源的集中式注册机制。

荷兰政府同样严阵以待，他们每年划拨70亿欧元（折合约95亿美元）用于洪水治理并建立起一套由堤坝、运河、船闸、港口、水坝、河流、风暴潮汐屏障、水闸以及泵起组成的水利网络。到2020年，这方面的成本很可能上升至90亿欧元（折合约122亿美元）。

由于洪水及干旱带来的潜在影响，荷兰国内的民生与经济双双面临着严峻考验，政府当局为此采取了一套复杂的水利管理体系，希望进一步加深对不良事件的监测与模拟、最终改进对灾害的理解与准确预测。

数据之潮

根据荷兰水利部数字三角洲项目负责人Raymond Feron的说法，单是Dyke数据服务中心数据库本身每年就需要处理高达2PB的传感器数据。而在典型的水利管理项目方面（目前荷兰拥有上百个此类项目），这意味着由此产生的结构化与非结构化数据每年将达到10TB到30TB。

因此，这套与水利紧密相关的系统根本无助于生成数据。问题在于，各项目之间几乎不存在一致性，而且过度庞大的数据总量让我们很难从中找到有价值信息。

“该项目将与其它项目进行结合及交互，从而共同生成信息。该项目本身并不属于数据生成方案，但荷兰水务部门将能够快速选择与工作目标相匹配的数据并因此获益。我所感兴趣的并非大数据，而是那些更小、针对性更强的数据，”Feron表示。

问题在于，数据总量的增长速度已经失去控制，Feron指出。由于更新、成本更低廉的传感器技术正广泛普及，传统的数据收集方法正迅速生成一片浩瀚无边的信息海洋。

“我们需要在思路上做出转变。过去，我们一直希望能以单一目的、严格管理、高质量数据为基础对监管流程加以严格控制，”Feron回忆道。“但现在，我们更倾向于使用具有开放性、灵活性、多目的性以及多传感类型等 特质的监控手段。这种转变对收集到的数据产生重大影响，如今我们面对的是质量参差不齐、目的多种多样的数据集合。”

“大家可以在自己的基础设施当中部署成本极为低廉的传感器，这些传感器将产生巨大的数据量。在水利管理领域，我们过去从未接触过这类新型数据。虽然这些数据的质量可能相对较低，但却也为我们带来更广阔的地理观察视角。”

作为由Bijkswaterstaat、IBM、代尔夫兰当地水务局、代夫特科学协会以及代夫特科技大学共同协作的项目，数字三角洲的一大主要诉求在于推动一套集中式数据源注册机制。该机制由IBM负责开发。

这一思路希望利用更准确的综合性信息帮助当局在预测自然灾害及组织水利管理时将成本降低最多15%。

举例来说，Feron有选择地描述了堤坝传感器在提高决策准确性方面的突出贡献。

“我们选择了两个地点，想看看这种部署在堤坝当中用于量度各种新型数据的传感器技术到底能否收集到足以指导新堤坝建设的必要信息，”他告诉我们。

“这个实例帮助我们直接节约了大量资金投入。如果我们能够在一到两年的时间中坚持使用传感器，并根据统计结果评估哪些工作其实没必要实施，那么由此带来的基础设施成本节约将被用于其它更有效的领域。这些新型传感器的存在意义并不在于取代传统的监控手段，因此我们还不能把它视为一种高效的监控机制。”

成果，而非技术

该项目的目标还包括促进国家及区域层面、地方当局与其它城市之间的合作关系，促进各方共同改进数据收集过程中的交互连接。

“政府方面的根本动力在于保持水利管理工作中的创新型思维。但这并不是传统意义上的大型IT项目。我们关注的是实际成效而非技术本身，”Feron强调称。

“我们正在积极寻求来自公共及私有研究机构的成果以及IBM等大型企业与小型公司的协作方式。我们希望将水利学科与其它学科更好地结合并互通有无——例如农业、环境、城市规划与交通。”他补充道。

根据Feron的说法，荷兰水利系统中的大规模数据并非完全源自现场采集，其中一部分还来自由代特夫科学协会研发的水文模型。

该（水文模型）研究的目的在于寻求各种能够发掘新型及旧有数据有效价值的架构，从而简化这些有价值信息的分享机制并帮助用户轻松获取结果。

“这些模型已经曾经被用于制定决策、组织规划并部署预防机制，但现在它们所产生的数据量正迅猛增长，而且对于其它处理流程而言、其产生的数据属于一种全新类型，”他解释称。

“产出的数据总量比模型的处理能力要高出数倍，因此这堪称一种指数级增长。我们可以将其用于其它学科——例如北海地区的风力发电规划或者城市农业建设规划——如果其它一些我们目前还无法预测的科学领域开始使用这些数据，那么它们该被划分为实际数据还是模型数据？”

这类问题属于大数据技术领域的典型状况，同时也是决定数字三角洲项目透明化及标准化程度的关键所在。

“他们说，‘我们将放开自己的数据’，但位于鹿特丹的数据库与位于阿姆斯特丹的数据库完全不同。如果真正向私营组织或者公众开放，我们肯定希望这些数据库之间能够实现良好的互操作性。必须利用某种互连机制提高所有可用数据的使用效率，”Feron指出。

该研究的目的在于寻求各种能够发掘新型及旧有数据有效价值的架构，从而简化这些有价值信息的分享机制并帮助用户轻松获取结果。

“在过去十年中，我们已经推出了各种标准——甚至有点太多了。我们高薪聘请了很多人才负责处理IT架构。我们创建出各类新型工具及平台，但我们仍然认为——这也是当前面临的主要研究课题——标准及架构之上还需要更多其它IT基础设施。但我们目前还不能确定具体需要哪些基础设施，”Feron告诉我们。

“我们不希望项目最终变得太困难或者太复杂，问题在于我们还需要哪些其它要素？其它要素具体是规则、库还是非常复杂的企业服务器总线？”