科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道硬加速存储,不给CPU“打零工”

硬加速存储,不给CPU“打零工”

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

为了长期的可持续发展,硬件加速设备的提供商一定要找那些能够“道高一尺,魔高一丈”地不断让CPU感到棘手的应用——譬如加密和压缩,存储时代对Hifn公司CEO的专访也证明了这一点。

作者:存储时代——张广彬 来源:Stor-Age.com【原创】 2008年7月4日

关键字: 硬件加速 存储加密 重复数据删除 VTL Hifn

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共3页)

数据压缩:加速重复数据删除

相对于数据加密而言,Hifn公司更长于数据压缩。Hifn深以其拥有专利的LZS(Lempel-Ziv-Stac)算法为傲,这种由该公司首席科学家发明的压缩算法继承了LZ算法压缩率的诸多特性,同时兼备硬件逻辑实现简便和更高的压缩性能等良好品质。LZS算法还会自动检测数据是否已经压缩,充分避免对已经压缩的数据进行重复压缩操作而导致的数据膨胀——即对于图片、音频和视频等多媒体文件,以及部分已经压缩过的文件,消除重复压缩导致数据无谓膨胀的影响。目前LZS压缩算法已经广泛应用于网络和存储各个领域,并被ANSI、IETF等国际标准组织和技术联盟采纳为业界标准的一部分。

据称,作为工业标准的LZS算法已经在超过一亿套磁带上实现。随着虚拟磁带库(VTL)的兴起,Hifn(及以前的安赛)提供的VTL硬件压缩卡也受到了EMC、NetApp、Sun、昆腾(Quantum)和Sepaton等VTL提供商的欢迎,并催生了进一步的商业机会。

我们知道,目前能够实现数据缩减的技术主要有两种,除了通过对数据重新编码来降低冗余度的数据压缩,还有着眼于删除重复出现的数据块的重复数据删除(De-Dup)。相对于压缩比通常为2∶1~3∶1的硬件压缩而言,重复数据删除具有把数据缩减的比例提高一个数量级的潜力。

硬加速存储,不给CPU“打零工”

高效的无损压缩和零延迟无缝加密是Hifn在存储领域的看家法宝

在备份、归档等存储应用中,经常会有大量的重复数据块存在,既占用传输带宽又消耗了相当多的存储资源——有些新文件只是在原有文件上作了部分改动,还有某些文件存在着多份拷贝,如果对所有相同的数据块都只保留一份实例,实际存储的数据量将大大减少——这就是重复数据删除技术存在的理论基础。

根据实现方式的不同,重复数据删除技术分为in-line和post-processing两大流派。in-line可以近似理解为实时处理,在数据流入时就进行除重操作,优点是磁盘空间占用少,缺点是争用处理器资源;post-processing则是事后处理,即在数据写到磁盘上之后再除重,优点是性能相对较高,缺点是占用磁盘空间多。

不过,无论哪一种实现方式,目前都是通过软件的手段,需要大量消耗VTL或磁盘备份设备的处理器资源,对性能会有不利的影响。现在重复数据删除主要用于VTL和二级存储,以NetApp为代表的厂商正在努力让主存储也应用该技术,但是这会拖累主存储的性能表现,降低其所承载的应用的服务水平,而如果能够有专用的硬件加速卡来实施重复数据删除,则可以免除这一后顾之忧。

今年3月底,Hifn率先推出了采用硬件加速的重复数据删除卡——DR250/255。它们内置快速、强大的SHA-1或MD5 哈希算法(用于重复数据删除),同时支持平均压缩比率达2.5∶1的单通道LZS数据压缩,并带有一个可自主选择的加密引擎,是业内首个集硬件压缩、重复数据删除和加密于一身的加速卡,处理数据流量可达250MB/s,完全适合在IP SAN 和 NAS设备中运行。

不过,DR250/255还不能同时执行全部的三个功能——压缩和加密能够同时执行,散列(分割数据流以确定重复部分的过程)则必须单独处理。有消息说Hifn正计划在2008年第四季度发布新一代产品,届时这三项功能可同时执行,且处理速度高达1GB/s。

Hifn董事会主席兼CEO Albert E. Sisto对上述传言不置可否,但其硬件加速重复数据删除卡的市场前景令他充满信心。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章