“大数据”的概念轮回：是谎言还是非谎言

“大数据”这个词现在非常火，但是某种程度上不过是过去30-40年来对数据管理和数据处理挑战的理解、认识的新一轮说法。当然，每一轮的说法不一样也并不是完全意义上的重复，循环式上升，毕竟每一轮的硬件、软件、网络、业务的关注点都不同，数据量的确是个硬指标，30年前提“数据仓库”概念时的挑战和现在的挑战不可同日而语，10年之后再看现在的“大数据”也许也会一笑而过，到那时，我们似乎才可以明白，这一个轮回的真正意义。

大数据是个谎言

天又一次塌下来了。这一次是“大数据”让IT部门如临大敌。但是就像“世界末日”和“外星人”一样，“大数据”是虚构的，是一个“大谎言”。

正如街谈巷议的传闻一样，不管你走到哪里，关于“大数据”的讨论无处不在。在Google搜索这个词组，搜索结果超过13亿条。它甚至在维基百科拥有专门的条目。数据泛滥导致很多人得出结论：企业将不堪重负。这并不是说企业内部的信息量不会增长。相反地，企业内部信息量也难逃增长的命运。因为，大数据一直是个难题。

尽管不断有人声称，数据洪流将导致厄运来临，但IT行业却始终能够通过改进计算基础架构，使它们速度更快、容量更大、价格更便宜、体积更小巧，从而让挥之不去的信息“大决战”预言不攻自破。

今天，通过使用列式数据库分析架构，组织机构可以不必过度对“大数据”带来的焦虑，相反，还能够让“大数据”更好为企业运营服务。在列式数据库中，用户可以随时调用和分析大数据集，即使对诸如非结构化数据等各种数据类型的大数据集亦是如此。它们不仅随时可用，而且执行速度更快，还能根据工作要求，更方便地扩展，从而为尽可能多的用户服务，涵盖尽可能多的数据。

这种做法其实就是挖掘组织机构内外部的“大数据”，并提取有价值的部分供企业使用。它的目的是让组织机构更灵活、更具竞争力，提高组织机构的盈利能力。

对于部署一个分析数据仓库而言，最重要的步骤之一就是找到质量合格的数据。从数据净化到采用数据管理总策略——用于确保数据质量的技术已经成熟。获取最优质数据时还要对其进行内部审核。

数据延迟：需考虑组织内部数据延迟的三个方面：数据发生时机、事件延续时间、决策所需时间。

数据关联：与商业用户合作确定数据的前后关系，并就使用中的多个数据集建立相互联系，同时还需要考虑数据增长率以及重复的来源。

自服务：确定高级用户如何在不影响IT或其他资源的情况下，对用于查询的数据实施控制。

首席数据官(Chief Data Officer)：指定一名高级职员担任首席数据官的职务，使其能够在维持组织治理的同时保证数据的可操作性。

数据质量的重要性再怎么强调也不为过。以comScore为例，作为一家为电子商务市场提供分析服务和解决方案的云计算公司，该公司从创立伊始就意识到，网络营销的重点正从访客数量转变为盈利性。comScore的“客户知识平台”(Customer Knowledge Platform)针对顾客浏览互联网的行为与偏好提供了全方位的观察视角。该服务追踪所有愿意提供互联网行为以供分析的用户，记录他们在各个网站的冲浪以及购买行为。

随着数以百万计的网络用户注册该服务接受监测，comScore收集到了海量数据。事实上，comScore所分析的压缩数据达到40 TB以上，每周都会新增接近150 GB。令人印象深刻的是，尽管数据量如此庞大，您却无需耗费时间焦急等待查询结果。据comScore工程事业部副总裁Ric Elert称，由于上述原因，“我们得以更加迅速地挖掘数据，并为客户提供结果。这有助于他们提高营销效率，开发出更多业务。”

此外，该公司使用列存储技术，实现了40%的压缩率。comScore表示，若使用传统方法，存储成本会比现在高很多。数据仓库副总裁Scott Smith说道：“由于我们面对的是海量的数据，压缩对我们而言至关重要。我们拥有的数据储量如此庞大，是大多数人从未见过的。”

西班牙Airtel Vodafone公司的列存储数据仓库可根据公司的业务地图进行信息组织。尽管很多不同的部门都使用同样的数据，但Airtel Vodafone仍然能够有效保证信息的一致性和完整性。数据仓库将数据转换成知识，通过一个接口，将现实世界中的事实转化为有价值的商业情报。准确分析和预测客户行为的能力是Airtel Vodafone公司整体业务战略的关键所在。

有了列式数据仓库，用户可根据工作流(而不是按照企业的层级结构)需要获取信息，这提高了员工的工作效率和有效性。换言之，从事市场营销的用户与从事财务工作的用户(举例而言)使用的是相同的信息，只是他们接触数据的角度有所不同，分析目的也各不相同。数据仓库环境包含了市场营销数据库、呼叫系统、客户服务、全球移动通信系统统计数据、开票系统、收账与检索，以及所有的后勤管理信息。

如今，Airtel Vodafone拥有一个理想的运行环境，能够满足各种需求，从而让存储在各种运行环境中的数据实现快速、低成本的集成。因此，它可以直接从数据仓库平台中调用有关公司活动的详细信息或汇总信息。基于列存储的数据仓库使Airtel Vodafone公司赢得了市场份额，成为欧洲电信业中的一方诸侯。

当今，分析行业也没有任何借口不使用“大数据”。无论是扩大分析数据仓库、涵盖数以千计的用户，还是分析来自各种奇特来源的各类数据(如来自社交媒体网站的海量非结构化信息)，它们都没有逃脱的借口。不要再躲避了，分析行业再也不能躲在“大数据”这个吓人的怪物身后，因为我们知道，通过使用列式分析基础架构，就能够让“大数据”更好为企业运营服务。

大数据不是大谎言

近期的美国《福布斯》杂志刊发了一篇题为《大数据是个大谎言》的署名文章，文章作者SAP Sybase全球CTO伊尔凡·汗给那些大数据的拥趸泼了一盆凉水。云计算市场还在持续升温，随之而起的大数据掀起的热潮相比云计算来讲有过之而无不及。

按照伊尔凡·汗的说法，从数据库到数据仓库再到今天的大数据，数据量的快速增长是一个趋势，而与之相对应的数据处理的方式也在变化、提高，这是一个螺旋上升的发展过程。所谓来自大数据的严峻挑战并没有人们想象中那样可怕。伊尔凡·汗认为，大数据不是世界末日，也不是外星人，企业的IT部门没有必要摆出如临大敌的架势。

其实，“数据量巨大”只是大数据的一个标签。除此以外，数据的多样化、管理的复杂度、实时分析等也是用户在处理大数据时必须面对的挑战。BI(商业智能)已经有30多年的历史。借助BI工具，企业可以对某一时间段内产生的数据进行分析，从而为商业决策提供支持。

在大数据时代，企业需要面对的是不断变化的数据，因此需要实时对数据进行处理和分析，这无疑增加了数据分析的难度，但同时也提高了企业预测未来市场变化的准确度。企业是否应该采用大数据分析工具，不是以企业拥有的数据量大小决定的，只要企业有商业预测的需求，就应该尽快使用大数据分析工具。

很多人认为，大数据就是指非结构化的数据。其实，这是一个“谎言”。事实上，全球产生的数据中85%以上的确是非结构化的数据。但是在当前的大数据应用中，企业主要处理的还是结构化的数据。如今，许多拥有结构化数据处理工具的厂商纷纷转向Hadoop，目的就是要寻找一个处理非结构化数据的好办法。尽管如此，大多数厂商的非结构化数据分析工具，也是先把非结构化数据转换成结构化数据之后再进行处理。

云计算带来了IT基础架构的变革，大数据则有力地推动了企业业务的转型。从这个角度讲，大数据对企业来说是一个挑战，更是一个实现业务转型的契机。伴随着大数据应用的兴起，企业对数据科学家、数据分析师这些新型的专业人才的需求也会变得更加迫切。如今，国外企业的管理层已经出现了一个新的职位——首席数据官(Chief Data Officer)，其职责是在实现数据治理的同时保证数据的可操作性。

大数据的挑战真实存在。企业应该变压力为动力，应该让大数据为商业决策服务，而不要成为大数据的奴隶。