科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道来势汹汹:浅谈存储领域的“大数据”效应

来势汹汹:浅谈存储领域的“大数据”效应

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

几十年前,当Oracle、SQL等数据库技术风靡全世界的时候,广大的IT人士可能不会想到在几十年后的今天,一堆堆毫无计划性、毫无关联的社交网络访问记录、图片,或者音视频会成为用户手心里的“宝贝”,这些数据在当今可能会成为一个生意人致胜的法宝。而对于十几年前,甚至几年前开始建设数据中心的管理人员来说,也不会预料到后端的存储空间会被大量的非结构化数据填满? 

来源:存储在线 2012年3月4日

关键字: 大数据 非结构化数据 Hadoop

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共3页)

数据分析的机遇  

除了看到存储厂商在大数据领域的动作以外,还可以发现数据仓库厂商也扛起了大数据的旗帜。张锦沧表示,在大数据时代,分析工具能否快速收集和分析变化飞快的数据,并且如何去有效地使用它们是一个挑战。而Teradata天睿公司在传统数据仓库方面积累经验的同时,也通过收购Aster Data公司向大数据迈进了一步。

同时,一些传统存储厂商也不再满足于自己在存储方面的市场空间,纷纷开始向数据分析发力。他们在通过不断的并购或者合作,在向数据分析领域扩展自己的触角。例如EMC在2010年通过收购Greenplum,正式进入了数据仓库市场。并且在2011年推出了支持大数据分析的下一代平台——EMC Greenplum统一分析平台。

在同一年,IBM收购了数据分析公司Netezza,开始拓展商业价值方面的市场。而在戴尔企业战略营销副总裁Praveen Asthana来中国时,针对数据分析,他举了一个很生动的例子。在加州有一个棒球队,他们没有钱去雇佣一些顶级球员。但他们却花了较少的钱请了一位数学家,该数学家通过对很多球员和球队的分析,得出了一些结论,这些结论主要是通过分析他们是靠什么因素获取胜利的。而通过这个结论,该球队找到了一些不是很出名的但是却有其独特优势的球员,靠者他们获得了很多奖项,并赢得了世界杯。Praveen Asthana表示,这就是数据分析的价值所在。

与此同时,这些传统的存储厂商也纷纷开始在Hadoop方面下功夫。从最近的新闻也可以看出Hadoop的确“集万千宠爱于一身”。在收购了 Greenplum之后,EMC推出了一款基于Hadoop的专用数据协同处理设备——Greenplum HD数据计算设备,可以一个单一、无缝的解决方案去实现对结构化和非结构化数据的协同处理。IBM在2011年也推出了基于Hadoop的 InfoSphere BigInsights分析软件,为大数据做准备。

NetApp通过与Hadoop的“鼻祖”Cloudera公司合作,发布了其Open Solution for Hadoop解决方案,帮助用户深入了解不断增长的数据。同样在2011年,戴尔也与Cloudera进行合作,加入了Hadoop阵营。有人形容现在的 Hadoop就像当年的Linux。也有人预测,未来的Hadoop会取得像Linux一样的成就。

王丛表示,Hadoop之所以会迅速占据技术热门,是因为它很好地解决了目前数据的“无计划性”。与以往的结构化数据不同,现在用户面临的数据种类、数据量,以及数据之间的关系都是毫无计划和规律的,这对于传统的数据库来说,处理此类数据简直不可能。而Hadoop的出现,解决了此类问题。在这里,就不赘述Hadoop的技术原理了。

作为一款出色的开源架构,确实给厂商带来了很多便利性。但是,开源也就意味着很多方面还不很成熟,需要不断完善。所以,王丛也表示,以目前Hadoop的发展状况,只有那些具有充足的开发资源,并且有着丰富的Hadoop经验的用户才能够开发出成熟的可用的平台。

面对大数据的汹涌来袭,数据中心用户必然会面临更多的新技术抉择。紧跟技术的潮流,选择适合自己的大数据工具,才能在大数据的潮流中挖掘出更多的商业价值。

集群存储

集群存储一般由多个存储节点组成,每个节点都包含了前端端口、控制器和后端的磁盘,他们组成了一个存储单元。而在大数据到来需要扩展容量或性能时,会以节点为单位进行扩展。对于大数据时代之下,数据增长趋势难以预测的用户来说,集群存储可以实现像搭积木一样的简易扩展性,同时也不会影响现有存储的使用。

集群存储的灵魂是其分布式操作系统,所有对集群存储的操作都经由分布式操作系统统一调度和分发,分散到每个存储节点上完成,可以大幅提升性能。这种结构与传统的NAS或者SAN完全不同。集群存储可以实现容量和性能的线性提升,不会遭遇到控制器的处理瓶颈。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章