重复数据删除驰骋主存储

主存储的重复数据删除

在虚拟磁带库、备份、归档等二级存储系统应用中，重复数据删除、压缩等数据缩减或容量优化方法很常见，也很好用。二级存储系统因采用这些方法而获得了降低成本（或至少推迟采购）和节能的好处。不过，现在主存储系统也可以获得同样的好处了，表现最显著的是NAS服务器。

不过在开始评估各种选择之前，就数据缩减而言，很重要的一点是，要注意主存储系统和二级存储系统需求间的差别，其主要差别是性能要求不同。

曾在市场研究与咨询公司Janeja Group任高级分析师兼顾问的Eric Burgener表示:“主存储系统优化（PSO）和二级存储系统优化（SSO）的关键差别在于，对访问时延的要求不同。主存储系统的访问时延要求一般比二级存储系统严格得多。”

存储优化处理确实引起了时延，不过不同的解决方案已经最大限度地减少或消除了对性能的影响。

Burgener说:“与二级存储系统相比，主存储系统中的数据冗余低得多，因此一般情况下人们会发现，主存储系统的压缩比也低得多，而注意到这一点很重要。”

不过，他说，对于主存储系统数据压缩和重复数据删除引起的性能问题，一些厂商正在想办法解决。他认为，用户应该理解，8∶1和20∶1的数据缩减比之间没有很大的不同。

在二级存储系统上进行数据缩减，可能获得20:1或更高的容量优化率，而在主存储系统上进行数据缩减，一般只能获得一位数的容量优化率（尽管根据厂商解决方案和数据类型的不同而不同，这个比率变化很大）。不过，因为所需容量的减少发生在昂贵的主存储系统上，所以，即使3:1的数据缩减比也可能带来极大的成本节省，例如，仅为2∶1或3∶1的比率就可能分别将所需容量降低50%或66%。

对二级存储系统进行数据缩减有各种不同的方法，这些方法之间存在差别，如果比较一下厂商们对主存储系统采用的数据缩减方法就会发现，其差别情况与二级存储系统类似。例如，有些厂商使用在线（in-line）数据缩减的方法（在数据写入磁盘之前进行容量优化，有时是实时的），而其他一些厂商则使用后处理（post-processing）方法（即数据存储到磁盘上以后，再进行数据缩减）。

Burgener表示，一般来说，in-line方法需要较少的原始数据存储容量，但是处理速度可能是个问题，因为应用性能可能受到负面影响。后处理方法一般不会引起可能影响应用性能的附加时延，但是，这种方法确实需要更多的存储容量，究竟要多多少，取决于需要多长时间才能将数据处理成容量优化形式。

IDC公司存储软件研究经理Noemi Greyzdorf表示: “in-line与后处理容量优化方法的优点和缺点取决于你采用的方法，以及所采用的方法对读/写性能和附加容量需求的影响。”

另外，有些厂商采用“通用（generic）”算法（对所有类型的数据都采用相同的算法），而Ocarina Networks公司则针对特定类型的文件，如: jpeg、tiff等，采用“内容识别”算法。

影响数据缩减的关键因素

数据缩减这种技术首次出现时，最终用户并不愿意采用，因为他们担心性能降低（吞吐量和/或时延）、数据可用性和可靠性问题。在主存储系统应用环境中，这些担忧更加重了，因为性能、可用性和可靠性在主存储系统中要关键得多。

不过，厂商们的技术研发已经大大减轻了这些担忧。尽管数据缩减这种技术可能引起时延，但是一般情况下，已经最大限度地降低了时延（在读数据时降至几毫秒），对很多应用来说，时延也许不是个问题了，而且所有厂商都已经提高了吞吐速度。

通过先进的数据指纹和混编算法、字节级验证、校验和以及其他方法，大多数厂商可保证数据可靠性（即检索出的容量优化数据与原来的数据完全相同）。数据可用性问题也已经解决，在有些情况下，是通过采用数据缩减专用设备解决的，这些设备均以镜像配对形式配置。

IDC公司的Greyzdorf说: “对于主存储系统数据缩减而言，很多用户仍在设法了解不同的方法，因为他们必须确保不丢失数据。”

有些最终用户正在计划评估主存储系统数据缩减方法，对他们来说，倒是有一个好消息—数据缩减技术领域的厂商数量相对较少，而且这些厂商大多数都提供工具软件，以供用户了解对于特定的数据集来说，能够实现多高的容量优化率（尽管在这个问题上，分析师们仍然建议要了解一下厂商提供的参考客户的情况）。

对于主存储系统数据缩减来说，尽管在各种不同的方法之间有可能进行一些“苹果对苹果”的比较，但是大部分比较是 “苹果对橘子”的性质，因为解决方案差异很大。不过，目标是相同的: 降低/优化所需容量，这反过来又可极大地节省成本以及降低空间、功耗和冷却要求。