美国国防部的大数据策略：庞大、稳定又分散

Ely Kahn已经在国家安全领域拥有十年以上工作经验——具体来说，他曾就职于运输安全管理局、国土安全部以及总统行政办公室（他在这里担任网络安全负责人职务）。2012年，他加入一个由多位前任国家安全局工程师所组成的团队，共同建立起Sqrrl——这是一家以开源Accumulo技术（由他们在情报机构任职期间所开发）为基础的数据库企业。Kahn于本周参与到Structure Show播客当中，与大家共同探讨哪些技术值得关注、哪些群体在使用这些技术、国家安全与技术领域又为此储备有哪些应对策略等。

下面我们将对整个采访过程加以概述，其具体内容涵盖了多个重要议题，从为Hadoop类技术（例如Accumulo）提供安全支持到即将出现的、针对关键性基础设施的攻击活动可谓包罗万项。当然，对Accumulo工作机制以及高级分析技术如何改进网络安全效果感兴趣的朋友可能希望亲自聆听整个交流过程。如果有机会的话，请大家于本月十九到二十号两天参加我们的Structure Data大会，届时博思艾伦咨询公司的Peter Guerra将结合亲身经历谈谈如何利用大数据技术对抗网络威胁。

“棱镜门”？没错，那就是我们这套数据库

“Accumulo正是国安局业务架构的核心机制。大部分国安局的主要分析应用都运行在Accumulo之上，”Kahn表示。“我不会深入列举每一种应用方案，因为这个话题太大、一时半会讲不清楚；但可以肯定的是，人们听说过的大部分应用都确实拥有Accumulo后端。”

除了在业务架构中扮演核心角色之外，Accumulo可能也是批评者们对于国安局非议最大的对象。尽管它能够很容易地通过技术手段识别异常行为与可疑目标，或者检测已知犯罪嫌疑人的网络活动，但国安局显然还抱有更大的野心——也就是Kahn所谓“生命分析模式”：

“事实上，这项技术的主要目标在于进行异常行为检测，这也正是我们的关注重点。我们要如何建立一套正常行为模式，再根据正常基准指标检测偏离值？具体作法可能需要涉及数量庞大的用例……”

“我们目前正在进行的大量工作都围绕着图形分析机制展开，同时建立起巨大、稳定而且分散的数据集图形——首先根据某个特定用例构建出正常行为数据的曲线图，然后检测既定目标的时间行为模式与正常情况存在何种偏差。”

整个国防部都在加入到行动中来

政府方面希望用于支持国安局的处理方案也能渗透到国防部的整个体系当中。作为国安局业务流程中的重要组成部分，Accumulo的任务在于建立一套通用云计算与数据基础设施，从而将整个机构内的资源整合起来；现在国防部也希望对全部现有数据加以汇总——上到无人机飞行距离、下至医疗数据——并整理成一套单独的可分析系统。

“目前正在进行的主要推进项目名为‘联合信息环境’，其目的是在整个国防部当中开发出通用型云与数据云架构，包含庞大的用例集合——将网络安全、战地情报甚至是医疗用例全部囊括其中，”Kahn解释道。

企业用户可能与国安局情况不同，但他们同样尊重技术

“不管人们如何从政治角度看待国安局，我认为人们应该已经意识到、国安局正扮演着大数据技术与安全方案的领导者。所以在这个意义上，我得说国安局一直以来的处理方式都是有章可循的，”Kahn在面对Sqrrl公司作为国安局技术基础作何感想的问题时回应称。“当然，我也参加了一系列会议，并与来自Pandora、Facebook公司乃至Web应用厂商的员工们进行了沟通，他们可能会从自身角度出发对我们的发展经历提出质疑；不过以决策制定者的眼光来看，这倒不是什么坏事。”

那么政策制定者们到底如何看待Sqrrl在安全方面作出的努力？“我们的产品已经入驻全球财富二十强企业中的三家，全球五十强企业中的五家，客户数量也达到数十家，”Kahn指出。他随后补充称，鉴于Cloudera与Hortonworks等Hadoop厂商正越来越多地对Accumulo提供支持，“我认为部分大型Hadoop厂商们已经发现，如果他们想在政府机构当中有所建树，就必须要支持Accumulo。”

网络安全现状：危机无处不在，但形势渐渐转好

首先公布几条好消息，这也是过去几周以来刚刚取得的最新成果：

“国土安全部与国家标准及技术协会都已经通过行政命令作出一系列重大努力，旨在建立一套能够被用于至少能在实施初期有效提高安全指标的网络安全框架，且供人们自愿使用。因此我们第一次拿出了一套详尽的说明文档，大家可以通过查阅了解到关键性基础设施所应该遵循的最低执行标准 。这听起来简单，但对于网络安全这样复杂度极高的领域而言，此番努力已经堪称重大进步。”

不过Kahn也补充道，所谓“重大进步”距离完美成果还有很长的路要走：“仅仅坚持最低基准还远远不够。”

他同时指出，《纽约时报》曾经报道过多起其它国家对我们的电网体系进行渗透的消息，是的，只不过暂时还没有发生实质性灾难。就个人而言，我认为这很可能只是时间问题，但愿别出什么大乱子。”