浅析大数据时代的挑战与需求

大数据时代的背景

近年来，随着互联网、智能手机及传感器等的普及，信息流量有了爆发性的增长，根据GreenIT协议会统计，2025年，社会的信息量将猛增至2006年的200倍。越来越多的业内人士开始谈论“大数据”，那么是否所有庞大的数据量都可以冠以“大数据”呢?其实不然，大数据的准确定义应该是采用既存技术或系统难以处理、分析的各种类型的大量数据，即大数据具备如下特点：

1、数据量过于庞大导致不能处理;

2、信息处理超时，无法在合理时间内提取出帮助企业经营决策的资讯;

3、需要使用复杂的，甚至至今都未使用过的数据处理方式。

大数据广泛存在于各个核心领域，包括网络、通信、金融、物流、制造、政府。以金融行业为例，大数据解决方案分析信用卡使用中产生的大量操作履历，总结不同年龄段、不同性别的消费习惯和喜好，从而有针对性地制定推广策略，除此之外，还能尽早发现非法使用情况。

大数据在核心领域的渗透速度有目共睹，然而《2010年年度信息流通普查报告》显示，未被使用的信息比例高达99.4%，存在于未被使用部分的高信息价值无法得到有效的开发、利用。在大数据时代背景下，企业率先采取解决方案应对数据资源利用率低的问题，才能抓住大数据带来的机遇，拉开与友商间的差距，成为行业内的领头羊。

图：未被使用的信息比例高达99.4%

大数据解决方案

大数据处理的全过程分为三个阶段：

一、数据收集，收集来自传感器、机器上的信息

二、数据加工合并，应对急速增加的数据

三、数据分析，提供各类数据的处理。

相应的，大数据整体解决方案应该提供大数据处理的所有功能，收集来自传感器的信息，处理大量数据，通过媒体数据处理提供高附加值。中国真正要实现大数据的落地，第一步要做的就是数据的整理和搜集，如何真正把数据进行有效的管理和存储，是大数据厂商在中国推行大数据解决方案的挑战，同时也是机遇。

NEC的大数据整体解决方案框架

NEC(中国)有限公司软件销售部部长李勇在“CCS云计算高峰论坛”的演讲中为大家介绍了NEC在大数据方面的研究和举措，有听众当场表示受益匪浅，希望与NEC深入交流。

NEC拥有完整的大数据产品线，结合客户具体需求向客户提供实现大数据处理的多样化技术，和客户共同确定利用数据的目的及分析方法，，为客户制订个性化的大数据解决方案。

图：NEC的大数据技术框架图

在数据加工、合并层面，新型数据库软件InfoFrame Elastic Relational Store提供灵活的扩展性和高可用性应对数据增长，解决了传统的数据库解决不了的横向扩展和处理速度问题。而InfoFrame DataBooster是基于列存储的内存型高速数据处理引擎，数据处理速度比传统RDB提高了40倍，实现了通过数据库优化无法达到的处理速度。

李勇部长表示，NEC大数据整体解决方案就是以为客户构建实用的数据处理平台为目的，让“提高数据信息利用率”有真正可行的基础。NEC在进军大数据市场的路上脚踏实地，相信未来会不断为市场带来更多产品和解决方案。