美国中央情报局迎接大数据分析技术挑战

与IT相似，情报机关也在努力通过创新获得快速分析大量来自不同源头的数据能力。

虽然最近一段时间以来，美国国家安全局及其它情报机关大规模收集个人数据的做法引发了广泛争议；但从技术角度来看，通过分析将数据转化为可操作信息仍然是一项巨大挑战，即使是最具权势的机构在面对此类难题时也感到有些无可奈何。

在刚刚于纽约召开的安全创新网络峰会上，中央情报局科学与技术部门副主任Dawn Meyerriecks致辞称，处理所有业务相关数据对于任何机构而言都仍是一项重大挑战。甚至在成功收集之后，机构成员以实时形式对数据进行分析都无法做到。

“要查看一遍下一分钟在互联网上传输的所有视频，我们要花上整整五年时间，”Meyerriecks解释道。“因此我们根本不具备处理全部现有数据的能力。”

因此，美国中央情报局正在集中资金投向分析应用程序及系统的研发领域，旨在帮助自身更便捷地对来自不同来源的数据加以分析——这是为了避免将浩如烟海的数据保存在有限的内部存储体系当中，Meyerriecks告诉我们。

大多数研究与开发活动都通过in-Q-tel（一家由中央情报局创立的风险投资公司）以及情报高级研究项目活动机构（简称IARPA，由高级研究项目署建立）共同负责管理。

根据Meyerriecks的说明，以IARPA的“集团性偶然事件评估（简称ACE）”为例，该项目希望通过对先进分析技术的研究简化数据分析流程。而IARPA的“知识发现与传播”计划则意在从适配器及语义技术角度出发让数据发现及实施变得更加简单，最终从中获取更具价值的背景信息。

虽然中情局的运营规模明显超过一般性企业，但德雷斯纳咨询服务公司首席研究官Howard Dresner表示自身所在机构的IT部门在深入探索大数据的过程中，同样面临诸多来自高级分析技术的挑战。即使是将Hadoop作为数据存储框架，来自数据收集与大规模数据关联的成本仍然相当昂贵。

为了降低这部分成本，技术人员想出了各种办法。如果分析能够针对来自多种来源的大量数据，那么处理费用将大大减少。“没人能有短期之内从根本上解决成本问题，”Dresner指出。“我们能做的只是首先通过标准化方式对数据进行索引。”

当然，系统集成商普遍将大数据看作一次重大的发展机遇。举例来说，CSCS刚刚收购了数据分析即服务厂商Infochimps公司，从而通过Hadoop与NoSQL数据库的结合实现数据整理。

根据CSC公司数据服务主管Travis Koberg的说法，系统集成商希望大数据分析领域能够实现跨应用程序起效并进一步作用于内部及云计算平台。“我们正努力为大数据打造一套工业强度级别的平台，”Koberg指出。“但我们仍然坚信大部分应用程序都能成功实现联合。”

最终形势将发展到何种程度目前还不清楚。就现在来看，命运的指针正朝着云聚集数据缓缓移动。然而将全部数据加以聚合的成本将继续增加，IT行业与情报机构已经清醒地意识到，只有技术突破才能帮助自己在无关数据保存位置的前提下实现大数据分析目标。