科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道网格成就Web 2.0存储时代的路易XIV?

网格成就Web 2.0存储时代的路易XIV?

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

将英特尔(Intel)处理器和SATA硬盘驱动器等标准设备,通过标准以太网交换机整合到一起构成集群阵列系统,XIV基于块的Nextra解决方案与Google的做法大有异曲同工之妙。XIV首席执行官Ofir Zohar和其他四位创建者都曾是以色列军队精英Talpiot技术项目的第14届毕业生,XIV(罗马数字14)这个名字也是由此而来。

作者:存储时代——张广彬 来源:Stor-Age.com【原创】 2008年12月3日

关键字: IaaS XIV 网格存储 Web 2.0

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共3页)

XIV架构详解及主要功能

在完成收购8个月之后,IBM打着“Storage Reinvented(再造存储)”的口号正式推出了XIV存储系统。据IBM系统与科技事业部中国区XIV技术专家王晓冬介绍,其与传统存储系统最大的区别是采用了粒度非常细的网格结构和大规模并行的概念。XIV存储系统中没有任何集中的模块,而是由一个个被称为数据模块的网格单元组成,通过高速的交换方式互联在一起,底层则是粒度很细的数据分布。前端应用服务器的数据进来后,通过大规模并行的方式,把所有的数据均衡的分散到后端所有的网格结构上,最终(以1MB为单位)分散到所有的物理驱动器上。也就是说,通过粒度很细的数据分布和大规模并行,让后端所有的网格单元和磁盘驱动器并发响应前端应用的需求,实现性能和可靠性的改进。

XIV存储系统的卷分布过程示意,进入的数据以1MB的粒度平均分布在所有的磁盘驱动器上

与大家熟悉的传统架构相比,这个系统结构中没有集中化的内存或大型控制器,而是由一个个紧耦合了CPU处理能力、缓存能力及磁盘存储能力的小的网格单元组成。传统的中端存储架构,通常配置好双控制器之后,处理性能就已经固定下来了,以后只是简单地增加磁盘、扩充容量,性能达到一定水平后很难再有增长。XIV系统中则没有任何主控制器的概念,全部是处理能力和存储能力紧耦合的网格单元,不可能只给用户扩展容量(如增加10TB),而是必须按照网格单元的方式扩展,也即在加入磁盘的同时,增加了CPU和内存,所以整个系统的扩展是性能和容量同步线性增长,在增加容量的同时,势必会提高处理能力和性能,增加缓存的能力,而在增加到一定程度以后,再使用第二个机架,乃至第三、第四个……理论上是可以继续线性扩展下去的。

XIV存储系统容量扩展示意,新的数据模块(网格单元)加入后,所有的数据都会重新分布

王晓冬强调,XIV的任何一个网格单元都基于业界标准的组件,实际上就是“Intel + Linux”,任何新出来的CPU技术、磁盘技术或内存技术都很容易通过网格单元的方式,增加到系统架构中,将来整个系统更新换代或扩展升级,可以把业界最新的技术迅速地应用到这个环境里。因为之间的互联包括网格单元用的全部是目前业界的标准技术,并且基于网格的架构,从而给整个系统未来的扩展带来了非常大的灵活性。相比之下,传统存储需要设计新的控制器、新的内部背板,往往由于复杂性导致产品周期长达24个月以上。

从用户的角度来说,他们并不关心数据存储在哪里,只希望需要访问的时候能够找到并使用即可。虽然XIV底层采用了粒度很细的网格的结构,但在上层通过全面的虚拟化屏蔽了复杂性,用户所有的数据都通过XIV智能的算法,自动地均衡到后端所有的磁盘上。系统在整个信息周期里的任何时刻,磁盘后端包括网格单元的利用率是百分之百——不是负载达到百分之百,而是任何一个单元并不比另外一个单元更忙。也就是说,后端所有的计算单元、磁盘单元,繁忙程度是完全一样的,从而消除了所谓的热点,体现出恒定均衡的核心的设计理念。任何一个前端并发的I/O过来,会同时分布到后端所有的网格单元中,利用后端所有的磁盘并发地存储。后端这种平衡的状态即使在系统发生变更的时候仍然可以得到保持,譬如增加新的网格单元,或者把一些旧的网格单元从环境中移除,总之任何系统变更发生的时候,后端所有的网格单元和磁盘单元都会参与数据的重建。最终理念是通过很多小的模块并发运作的方式实现整个系统的可靠性和稳定性。

XIV存储系统的自动负载均衡功能可以避免热点的产生

整个系统还可以通过后端的恒定均衡实现自恢复和自优化。最典型是由于后端大规模并发,系统中1TB的SATA磁盘驱动器出现故障时,只需要约30分钟就可以把上面的1TB数据重新分布到系统内剩余的磁盘驱动器。王晓冬表示,这30分钟的时间是指整个数据系统完全充满的情况下,如果用户数据没有充满,整个1TB单盘驱动器出现故障的恢复时间只需要15分钟甚至更短。即使与今天高端的FC存储系统相比,整体的恢复时间只大概相当于目前主流FC驱动器的十分之一以内,表明大规模并发的架构为整个系统的可靠性提供了全新的概念。

自动性能优化则是指,XIV系统既不需要用户购买任何“所谓的存储优化软件”,也不需要任何的后端磁盘均衡软件,系统已经自动通过算法的方式帮助用户实现了。XIV整体的硬件结构并没有什么特殊的地方,无非是采用了很小的粒度很细的网格单元,它真正核心之处在于所有软件的部分,怎样通过算法的方式,能够把大规模网格的力量利用起来,所以恒定均衡概念是XIV最主要的特点。王晓冬补充说,目前的XIV系统没有QoS的概念,而是通过后端大规模并发的设计满足前端所有I/O的存储能力,在这种特殊的架构中不需要有QoS。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章