科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道架构变革迫在眉睫 大数据没你寸步难行

架构变革迫在眉睫 大数据没你寸步难行

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

大数据对现有的基础设施,对各种资源包括服务器、存储和网络是否能实时处理和即时访问,都提出了更大、更快、更简的需求,而传统以硬件为中心的基础架构方式已无法获得必要的性能水平和灵活性,那么面对新形势我们如何应对呢?

来源:ZD至顶网存储频道 2015年5月5日

关键字: IBM 大数据分析 闪存 弹性存储

  • 评论
  • 分享微博
  • 分享邮件

数据无时不刻地增长着,2014年全球数据存储总量增长到2.16ZB,2016年还将继续增长至3.77ZB。现在每秒钟有500万笔交易发生,每天有5亿个通话记录产生,大数据推动着IT技术的发展,同时也对数据的IO能力提出了更高的要求。

除了大,数据有多“快”?来看一组数据,全球最大电子商务公司亚马逊发现网页每延迟0.1秒,客户活跃度就会下降1%,如果网页下载速度慢1秒钟,1年就有可能损失16亿美元;全球最大搜索公司谷歌也发现,如果提交搜索结果的时间延迟0.4秒,一天的搜索量就会减少800万次。即使你有很棒的产品或者项目,如果速度不够,它就会被淘汰被忘掉,更何况在大数据时代下,数据与信息的产生、处理和分析都在提速,企业就更需要快速且高效率的底层技术作为支撑。

“大”数据不仅意味着数据的数量庞大,变化速度快,还代表着数据种类繁多结构复杂,以前数据多是结构化的,现在越来越多的数据是半结构甚至是完全非结构化的数据,从企业来的、从互联网来的,从用户来的各种各样的数据都大量涌入我们的存储、服务器和整个数据中心,怎么样把大数据变成信息,转变成知识和决策,这就需要有更丰富的数据管理、重复数据删除和数据分析能力,和强大的数据存储和计算能力。

云、移动、物联网使得各种企业资产不断扩散,引发了新一轮的数据大爆炸。虽然企业可从数据中分析洞察,从而获得新的商机,但与此同时,大数据也对现有的基础设施,对各种资源包括服务器、存储和网络是否能实时处理和即时访问,都提出了更大、更快、更简的需求,而传统以硬件为中心的基础架构方式已无法获得必要的性能水平和灵活性,那么面对新形势我们如何应对呢?

BDA之存储架构:闪存与弹性存储的双重利器

作为承载和处理大数据的底层平台,存储系统对企业掌控大数据起着关键的影响作用,正如大家所知,大数据日益增长以及大数据多样化的特点,也对存储系统提出了前所未有的挑战,尤其是在多供应商设备共存的复杂环境下。

所以,我们利用性能和灵活性更高的新形态存储来应对这些难题。首当其冲的,便是性能困境,闪存作为提升存储和服务器的处理器速度的一大利器,让数据操作变得更为迅速,实现对数据的实时分析。闪存的高I/O性能,可以化解企业关键业务应用的I/O瓶颈,提高服务器利用率,降低购买服务器和软件许可的开支,还能改善存储的效率,起到节能降耗的效果。

不仅如此,闪存技术的兴起激发了分层存储的出现和应用,更明确地体现了不同存储介质的价值。把闪存作为缓存,或者使用自动分层技术,将热数据保存在闪存中,在硬盘上持久保存冷数据或全部数据,从而最大限度利用闪存的价值。

现在来看,整个技术业界已经达成了这样的共识,也就是闪存在访问I/O敏感型随机数据时的表现要远远优于普通磁盘、而且全闪存阵列在扮演热门随机数据网络化存储机制这一角色方面也具备先天优势。诚然,磁盘在处理数据流时的表现并不逊于闪存,而且每GB使用成本也要低得多。不过综合来看,磁盘阵列还是最适合近线、冷门或者偏冷门数据,最好被用于支持大型文件的访问流。

中国用户显然已经意识到闪存技术能够给他们带来的性能变革,并且开始积极拥抱这项技术,尽管成本问题仍然让他们有些犹豫,但相信未来闪存价格的不断下滑,将有效缓解用户最关心的问题,闪存被企业所接受并普遍采用只是时间的问题,可以说,闪存将会成为他们提高存储性能、再造基础架构、支撑实时数据分析最有力的武器。

架构变革迫在眉睫 大数据没你寸步难行

作为“中国闪存联盟”的发起者,IBM在发布FlashSystem 840面世仅一年之后,又迎来了其继任者FlashSystem 900/V9000,这两款重磅闪存系统采用美光提供的MLC闪存芯片,与上一代的840/V80相比,容量更高而体积更小。根据IBM方面的说法,900/V9000的存储容量提升4倍,机架空间低于竞争对手EMC XtremIO。

通过使用IBM FlashSystem V9000,客户可以把现有存储系统整合到一个管理域中,并实施虚拟化与存储服务;FlashSystem 900与传统的存储系统动辄需要几天部署相比,可以在短短的两个小时内完成。同时,这两款全闪存阵列都采用IBM FlashCore技术作为核心,更有利于灵活部署。

除了性能之外,企业对灵活性的需求也比以前更高了,而最近一项重要技术“弹性存储”(Elastic Storage)的出现,其使命是瞄准应对大数据的快速增长,根据业务服务水平需求动态(SLA)配置IT资源 (QoS),满足对存储高可用、自动化管理、远程协作和高性能、高效率的需求;同时,消除数据孤岛,让用户在向云计算和移动互联架构演进过程中,充分发挥大数据的价值,实现业务突破创新。

架构变革迫在眉睫 大数据没你寸步难行

IBM在2014年首次提出了“弹性存储”(IBM Elastic Storage)理念,结合IBM主存储、二级存储和全闪存系统,降低存储部署和管理的复杂度,提供高可用、自动化、高性价比的存储技术平台,消除数据孤岛。

据了解,IBM的弹性存储可以支持数PB数据及数十亿个文件,通过单一的全局名称空间实现向外扩展并行处理,无需使用多个数据拷贝提供高可用性,可与OpenStack及POSIX等开放架构相集成,并且具有本身固有的加密及数据保护功能。

因此,这款软件允许企业快速、自动且智能地扩展其存储需求,支持任何厂商的存储系统,允许跨多个位置的企业存储系统访问任何类型的数据。这样,用户就可以根据业务发展不同阶段降低新增存储的采购需求,提高数据生命周期管理效率。

闪存与弹性存储的结合,让BDA大数据基础架构以更高性能和灵活性作为支撑,使大数据作为企业一种“无形资产”的重要性变得比以往更加明显了。

BDA之服务器架构:POWER和z为数据分析构筑起坚实的平台

说完了存储在大数据时代所起到的重要作用,我们再来分析下服务器在大数据时代所扮演的角色。如果要从茫茫的数据海洋中挖掘出应有的价值,并最终到达智慧的彼岸,光有存储肯定是不够的,因为存储设备更多承担的是数据存取,而非计算功能。

所以,回到大数据或者数据分析的根本,一个强劲、可靠的数据分析平台同样必不可少。那IBM的计算平台有什么过人之处呢?两个词概括就是刚刚提到的强劲、可靠,强劲更多代表性能,可靠则意味着稳定性、可用性。

后者继承IBM一贯的特性,而前者虽然也一如既往的优秀,但随着时代的变化,演变出来一些新的特性,比如开放。要说IBM近两年给人最大的感觉,就是这个公司的整个气质都变了,封闭、昂贵等早已经是过去时,开放、彻底的开放代表着IBM的现在和未来。

其次,不得不提的则是IBM先进的技术,尤其是在数据分析方面的针对性优化。以POWER8为例,其最高同时8线程的处理能力、每处理器最高支持1TB的内存容量、内置CAPI技术等。放眼最新发布的z13大型主机,内嵌实时分析技术、相较z12 300%的内存提升、100%的带宽增加……可以说这些都为数据分析提供着强大、且源源不断的动力。

不管你愿不愿意,大数据时代已经到来。就如开篇所讲,大数据又“大”又“快”,这不仅对存储、服务器提出了新的要求,甚至对整个IT架构都提出了前所未有的挑战,而IBM拥有的正是应对这种挑战的能力。

点击报名观看2020 IBM混合云与人工智能年度峰会线上直播

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章