重复数据删除驰骋主存储

主要厂商及特点

以下简要介绍一下在主存储系统数据缩减领域有哪些主要厂商，以及在分析师的眼中，这些厂商主要的与众不同之处。

NetApp

NetApp也许是重复数据删除领域最热衷的支持者，该公司交付了大量具有重复数据删除功能（用后处理方法实现）的系统，堪称数据缩减市场上的领导者。该公司称，已经交付了3.7万多个具有重复数据删除功能的系统。当然，问题是，实际上有多少客户在使用NetApp的重复数据删除功能。

NetApp公司存储效率高级市场经理Larry Freeman的答案是，客户至少正在使用1.5万个系统的重复数据删除功能，NetApp可以通过自动支持功能跟踪使用情况。据Freeman估计，在这些系统中，“大约有60%正在对至少一个主存储系统应用进行重复数据删除。”

NetApp在其Data ONTAP操作系统中免费集成了重复数据删除技术，因此，该公司所有平台，例如FAS、V-Series、VTL等，都可提供重复数据删除功能。另外，通过V-Series虚拟化网关，NetApp还可以在竞争对手的磁盘阵列上进行重复数据删除，其中包括EMC、惠普、日立数据系统和IBM的阵列。NetApp还保证，在虚拟服务器环境中，第三方磁盘所需容量可减少35%。

与这一领域的其他厂商类似，NetApp专注于虚拟服务器环境，在这类环境中，重复数据删除比率可以相对高一些。Freeman说，实际上在VMware环境中，典型情况下大约可以节省70%的容量。

EMC

今年早些时候，EMC宣布，其Celerra NS系列NAS平台支持重复数据删除和数据压缩（该系列平台也支持光纤通道和iSCSI）。EMC的重复数据删除技术名为EMC Data Deduplication，集成在Celerra Manager软件中，并基于EMC的Avamar（用于重复数据删除）和RecoverPoint（用于压缩）技术。EMC的数据缩减功能免费提供。

EMC称，其重复数据删除技术可以将所需文件系统容量降低多达50%。德国的Karlsruhe Institute of Technology是其早期采用者，其主存储系统数据量降低了25%。

对于虚拟服务器环境来说，EMC的重复数据删除技术可与该公司的VMware View一起使用， VMware View是一个vCenter插件。

最近，EMC又宣布，与Ocarina Networks就产品与技术整合建立合作关系。

Ocarina

除了EMC，Ocarina还与BlueArc、惠普、Isilon、日立数据系统、Nirvanix等厂商有合作关系。

按照Ocarina公司首席执行官Murli Thirumale的说法，Ocarina的关键不同之处在于，其ECOsystem数据缩减平台通过专门的算法，提供内容识别（特定类型文件）优化。ECOsystem采用后处理（或离线，或out-of-band）方法，兼具对象级数据的重复数据删除和压缩功能。“ECO”指的是该系统进行容量优化的“抽取-关联-优化”方法，用这种方法时，数据首先抽取出来，变换成原来的格式（而且如果是压缩数据，还要解压缩），然后再用与特定子文件或对象匹配的算法进行关联（混编）和优化。在某些环境中，这种方法可实现更高级的容量优化，而且由于这种方法是在后处理采用的，所以不会降低主存储系统应用的性能。

ECOsystem中包括一个执行容量优化的Optimizer和一个按需扩充文件的ECOreader。

Ocarina很早就在图像应用环境中取得了成功（尽管该公司的技术不仅限于图像领域），例如，柯达公司用Ocarina的ECOsystem管理超过20PB的照片数据。

Storwize

Storwize是主存储系统数据缩减技术市场的先驱，该公司的技术也可以用于二级存储系统。Storwize的关键不同点是，其in-line方法基于增强的实时压缩（而没有重复数据删除，尽管Storwize的技术可以与重复数据删除一起使用）。

Storwize公司全球市场高级副总裁Peter Smails表示:“我们是惟一一家对优化（压缩）数据提供实时和直接随机存取的公司。”

与后处理数据缩减方法不同，Storwize的STN设备在数据第一次建立时、即在起始点进行优化，在数据写入磁盘时对数据进行压缩。因此，该平台不像后处理方法那样，不需要任何附加磁盘容量。

为了提高设备吞吐量，Storwize最近推出了STN-6000i系列，该系列产品提供高达800MBps的吞吐量，而以前的产品吞吐量为600MBps。

Hifn

今年4月被Exar收购的Hifn公司采用另一种数据缩减方法。该公司向OEM提供兼有重复数据删除、增强压缩和加密功能的板卡和软件。最新的板卡是BitWackr 250和255，这些板卡可以插入任何Windows服务器，价格预计为950美元左右。

与存储网络上基于专用设备的方法不同，与本质上位于主存储系统之后的目标端方法也不同，Hifn的板卡插入服务器，并优化写入本机磁盘的数据。重复数据删除发生在NTFS文件分配单元中。

Exar公司存储系统产品副总裁John Matze解释说:“NTFS先进行重复数据删除，然后我们的板卡和软件再做进一步的重复数据删除和压缩。”

另一个不同之处是，Hifn利用基于ASIC的硬件加速。

尽管相对来说Hifn不那么知名，但是该公司却不是数据缩减领域的新手。配备硬件压缩的大多数虚拟磁带库（VTL）都采用Hifn的板卡，如FalconStor、IBM、Overland Storage、Sepaton以及其他一些厂商的虚拟磁带库。

greenBytes

greenBytes是数据缩减市场的新手，该公司原来预期今年6月开始交付产品。

greenBytes的不同之处是，它捆绑了多种技术，包括压缩、子文件级重复数据删除、海量空闲磁盘阵列（MAID）、固态盘（SSD）驱动器、除了CIFS和NFS还支持iSCSI以及n-to-n复制。另外，greenBytes的软件基于开源代码，尤其是OpenSolaris和一个修改版的ZFS文件系统，以提高可扩展性（按照首席技术官Bob Petrocelli的说法，高达数百TB都不会影响性能）。

greenBytes的专用设备采用源端数据缩减方法，其写速度高达800MBps。

greenBytes的方法采用了一种关键技术，该公司将其称为“基于概率的恒定时间搜索”。在这种方法中，系统可以确定以前在“恒定”时间内是否遇到了一个特定的数据块，而不管系统获得的文件有多大。该技术在固态盘上实现。Petrocelli说，这种技术的好处是高速重复数据删除，而且存储的数据增多时，速度不会受到影响。另外，greenBytes的方法先压缩数据，然后再进行重复数据删除，据称可以支持高达2PB的名字空间。

对于正在考虑主存储系统数据缩减的用户，IDC公司的Greyzdorf提出了以下建议:“首先要了解自己的数据是什么类型的，了解这些数据的存取方式，有多少正在使用的数据和静态数据，要对这些数据做什么，包括备份、复制、快照等，这样才能更好地了解什么类型的容量优化技术最适合自己的特定环境。”