科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道英特尔领航大数据:Hadoop发行版优势突显

英特尔领航大数据:Hadoop发行版优势突显

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

云计算与大数据的兴起,给IT行业带向了一个新的时代。据统计,2012年全年的数据产生量甚至都要大于从人类诞生开始到2011年的所有数据量。在这么庞大的数据海洋中,我们如何去探寻数据价值,从中获取到有利于我们自身发展的数据,开发更新的应用产品...

来源:watchestor 2013年5月22日

关键字: Hadoop 大数据 英特尔

  • 评论
  • 分享微博
  • 分享邮件

云计算与大数据的兴起,给IT行业带向了一个新的时代。据统计,2012年全年的数据产生量甚至都要大于从人类诞生开始到2011年的所有数据量。在这么庞大的数据海洋中,我们如何去探寻数据价值,从中获取到有利于我们自身发展的数据,舍弃掉无用数据,减少IT开支,帮助企业提高运营效率,开发更新的应用产品满足用户需求,这些都是大数据时代下IT新需求。

回顾过去十年来整个信息化技术的发展,其已经直接或间接改变了我们的生活方式.比如社交网络的普及,使人们每天都在上传着高清的照片和视频,还有政府行业的基础建设,包括智慧城市、平安城市或者智能交通等项目。在这些涉及到人们基本生活的设施中,每天都会产生大量的数据,而这些数据的存储管理,以及再利用,都是一个很重要的关键所在。比如社交网络上大小不一的视频、城市项目中高清摄像头所产生的PB级的数据,如何去采集、分析这些非结构化数据,已给人们带来更大的效益是目前大数据时代下的新的需求。

近日,英特尔在京举办了“英特尔大数据技术及行业应用论坛大会”,在此次大会中,英特尔邀请到英特尔中国行业合作解决方案服务部企业技术销售与数据中心咨询资深经理张哲源先生、IDC企业系统与软件研究组高级研究经理周震刚先生、英特尔数据中心软件部中国区首席技术官苗凯翔博士、英特尔数据中心软件部大数据产品技术顾问黎超先生以及用友医疗卫生信息系统有限公司副总裁、用友智慧健康研究院首席专家徐春华先生,从用户和厂商的双重角度,分析大数据时代下的新需求以及分享英特尔在大数据技术下的产品成果。首先,英特尔中国行业合作解决方案服务部企业技术销售与数据中心咨询资深经理张哲源先生和IDC企业系统与软件研究组高级研究经理周震刚先生先后向我们介绍了目前大数据产生的原因和需求特点,并一同展望了大数据市场的发展趋势。

在会上,来自英特尔中国行业合作解决方案服务部企业技术销售与数据中心咨询资深经理张哲源先生向我们分享了一个电信行业中的应用案例。在这个案例中,电信客户希望能够提高自身的详单查询的服务水平,但是他们每月的详单数据就能达到一亿条之多,相当于每月产生100PB的数据。而这个服务协议是规定必须提供六个月内的详单数据,查询时间必须要在1秒内完成,这也就意味着要在一秒钟的时间内完成600PB的数据检索。这么大的数据量,这么高服务水平的要求,如果还要依照过去一些传统的关系型数据来应对的话,就需要投入相当高标准的软硬件来服务。在与英特尔沟通后,采用英特尔的大数据技术解决方案,只用了不到四分之一的应用软件成本,就能完成上述所有需求,并将整个性能提升到3倍左右。 

这个案例也从侧面印证了大数据技术在海量数据时代中所起到的作用,同时也强调了大数据的重要性。那么在国内,大数据市场受重视程度又如何呢?据IDC企业系统与软件研究组高级研究经理周震刚先生介绍,,作为全球第二大经济体的中国,其每年产生的数据占了全球的13%,到2020年,中国的整个数据量将超过8ZB,也就是说增长率是2012年的23倍。而中国也是最近几年才开始谈论大数据,虽然起步稍晚,但是其增长速率却已经赶超云计算市场的增长。 

在行业应用中,海量数据的产生既是其存在的价值,如何去收集数据、分析数据、消费数据、管理数据成为了每个企业在发展过程中需要着重考虑的一个要素。比如在金融行业、电信行业、零售行业以及医疗行业中,除了需要高性能计算来帮助客户完成重要的数据分析,还需要有大数据技术帮助客户用最短的时间处理查询海量数据,以获取最终结果,满足用户的需求。总的来说,数据世界的快速演变使得大数据变得越来越重要,现在大数据是最热的IT市场,其正在为各行各业的用户提供着价值。

英特尔公司在大数据市场中也在做着自己的努力。他们在很早就推出了英特尔Hadoop发行版,并且在中国首发。作为一家传统的硬件厂商,英特尔开发软件离不开硬件,他们通常都会将软硬件放在一起进行分析,得出优化方案,充分挖掘出底层价值,优化Hadoop,以最大限度的提高性能。他们可能考虑更多的还是如何让大数据技术服务于硬件产品,优化计算平台,比如CPU、存储等。英特尔在全球服务器后端市场的份额已经达到了95%,很多云计算架构所使用的几乎都是X86平台,所以英特尔所需要考虑的就是如何优化存储架构,提供计算性能,并将网络、存储、计算统一起来,实现一个完整的解决方案,帮助用户适应大数据时代下的数据需求。英特尔Hadoop发行版简称DAH,基于X86基础上做了优化,提升了10倍左右的性能,能够简单方便的与其他数据库之间互相访问,并且拥有快捷的部署工具,让用户更易操作,使用。

英特尔作为开源社区中最活跃的代码贡献者之一,其已经将Hadoop看作大数据平台中的Linux,而英特尔也认为Hadoop将会是X86平台获得发展的一次重大机会。英特尔Hadoop商业版的发行版本中涵概了一些组件,包括数据存储HDFS、数据处理MapReduce,基于MapReduce的开发接口,并且为用户提供了一个标准化的图形界面的Hadoop操作界面。作为英特尔商业版的Hadoop和开源版Hadoop之间的区别,英特尔数据中心软件部大数据产品技术顾问黎超先生认为,DAH能够提供产品化支撑,拥有强大的后援团对来所遇到的故障进行维护处理,并且其简单易用性和稳定性也都得到了一定的提升。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章