科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道大数据与存储系统:分散还是集中的选择?

大数据与存储系统:分散还是集中的选择?

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

让我们来设想一下:一边是相对昂贵的集群NAS;另一边则是成本低廉,但硬件上几乎不具备任何容错能力(在HDFS软件层面实现数据冗余)的JBOD + SATA硬盘。如果都能够满足应用的要求,您会选择哪一种呢?

作者:黄亮 来源:CBSi企业解决方案中心【原创】 2011年5月20日

关键字: Greenplum HDFS Isilon Hadoop

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共2页)

大数据与存储系统:分散还是集中的选择?

Intel还拿EMC针对(公共)云存储服务提供商的Atmos对象存储来举例:一台使用Xeon 5500处理器的标准1U机架式服务器,通过SAS控制器(LSISAS1068)提供向外的x4 SAS 3Gb/s连接到3U硬盘箱(JBOD),其中包含24端口的LSISAS2x24扩展器芯片和15块2TB SATA大容量硬盘。Atmos Appliance(即Atmos的核心软件)运行在RedHat Linux内核上面,是不是有点像上文中的“Hadoop使用模式”呢?

在硬件设备(存储系统/阵列)中集成的软件功能越来越丰富的今天,位于大数据和云存储的结合之处,不同产品的区别和价值,很多时候还是体现在运行于x86标准化硬件平台上的软件部分。对于未来的开放式数据中心而言,这应该不只是一个巧合吧?

集群NAS存储如何与“大数据”结合?

谈到此处,除了基于开源Hadoop的Greenplum HD社区版本之外,Greenplum HD企业版本则可以与Isilon这样的集群NAS联系起来。比如EMC提到的“数据管理功能,如快照、广域复制、简单数据载入和使用原生网络文件系统(NFS)接口访问”等高级特性就是HDFS不具备的。

盛大在线CTO朱敬也曾对笔者说:“(HDFS)分布式存储在稳定性和数据的备份方面可能稍微差一些,我们更多的可能会将非核心数据存储在那里面。”

EMC公司总裁兼信息基础架构产品事业部首席运营官帕特•基辛格在近日接受采访时表示:“在EMC World中,我们谈到Isilon会用OneFS代替HDFS,实现应用间的共享,有了应用可能,也可以调动Hadoop数据。既可以有企业级的存储,又可以有Hadoop的性能,而不需要重新建立数据环境。”

基辛格还说:“我相信淘宝、雅虎、谷歌、阿里巴巴这样一些互联网公司确实有时候愿意基于开源技术基础之上进行自主研发。有时候是因为他们在市场上买不到需要的应用,也有时候是因为内部需求达到了一定的规模,值得花一定的成本自主开发。但还有很多客户,比如服务供应商、互联网公司由于自身的局限性,比如没有足够的时间和数以百计工程师力量,需要我们帮助他们开发这些产品,或者说他们需要的应用要达到商用级的质量,而且能够提供企业级支持,所以愿意购买而不是自主研发。EMC有Facebook这样的客户,eBay、雅虎也使用了EMC的环境。其实EMC的强项在于技术力量非常雄厚,同时我们开发的产品都是商用级的,可以给企业提供支持。”

NetApp Engenio也谈Hadoop

在了解EMC的大数据策略之后,我们再返回本文开头提到过那篇国外的文章。“NetApp提出了由SAS连接Engenio RAID阵列共享DAS的理念(Engenio RAID阵列是NetApp从LSI收购而来,现更名为E系列)。NetApp还推出了面向Hadoop 集群的E2600低端阵列。”

无论共享DAS,还是基于SAS交换机(LSI已有此类产品)的SAS SAN应用理念,我们都在以前的文章中讨论过。另外NetApp还推出了一款支持60个驱动器的E5400存储系统,从型号上看它的定位应该介于E2600(曾经的LSI Engenio 2600,IBM DS3500和戴尔MD3200系列的原型系统)和E7900(原Engenio 7900,对应IBM DS5300)之间。

大数据与存储系统:分散还是集中的选择?

NetApp E5400存储系统,来自从LSI收购的Engenio部门

不过,最近NetApp E2600支持的驱动器数量已经从96个增加到192个,那么按照传统的眼光来看E5400的定位是否存在问题?E2600升级的背后又有什么更多的故事呢?我们将在下一篇文章:“NetApp E5400释疑:Engenio变与不变?”中为大家揭开谜底,敬请关注。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章