重复数据删除技术生存指南（第一篇）

编者按：这是我们探讨重复数据删除技术和重复数据删除解决方案执行策略“四部曲”的第一篇：

第一篇：将谈论重复数据删除技术的基础应用——独立设备、VTL解决方案或者主机软件。

第二篇：将谈论重复数据删除技术的两种方式，这主要涉及in-line和post-processing两种重复数据删除方式。

第三篇：将谈论统一的重复数据删除和独立的重复数据删除、采用单一厂商覆盖所有次要数据解决方案的好处、以及采用针对不同类型数据的定制重复数据解决方案的好处。

第四篇：将谈论重复数据删除技术的性能问题。许多重复数据删除产品提供商宣称他们的系统具有惊人的处理速度，我们将探讨如何理解这些说法。

重复数据删除市场最早出现的一些产品是基于某些特定的系统，这些系统主要是减小企业机构对磁带的依赖程度的同时，提升磁盘到磁盘备份解决方案的性能。

随着重复数据删除解决方案在用户中逐渐普及，许多大型存储厂商则开始将重复数据删除技术作为一项产品增值功能提供给用户，而且大多是新增到VTL产品中。之后，备份软件厂商也跟着效仿这种做法。现在，IT经理们可以选择的重复数据删除解决方案琳琅满目，可是却出现一个新问题：究竟将重复数据删除技术应用到哪些方面才是最佳做法？

在你阅读本文的时候，切记重复数据删除技术主要是针对二级存储的——归档和备份，而不是针对主存储。还要记住一点，冗余数据的构成并非显而易见的。例如，一个Oracle数据库的备份方法有很多种——可以使用内嵌的RMAN；也可以使用企业备份软件应用；或者使用Oracle专门的备份工具，每种方法都会产生一个数据组。因为这些数据组是同一个Oracle数据库的备份，所以每个数据组中的数据实际上是一样。

通用的重复数据删除系统

包括Data Domain和昆腾在内的多家存储厂商都推出了自己的重复数据删除系统，这些系统并不是与某个特定的VTL或者备份应用相兼容，而是一种通用的重复数据删除系统。

采用通用重复数据删除系统的好处就在于它是针对重复删除的数据设计的。因此，这些系统对数据来源是“一视同仁”的，也就是说，备份源数据可以是来自多种应用的，例如备份软件、应用设备、归档应用或者直接来自用户。

通用系统提供了多个数据访问协议（NFS、CIFS或者磁带仿真）以及多种物理连接（以太网或者光纤通道）。在物理数据中心里有很多种来源的备份数据，因此系统对数据来源“一视同仁”显然是具有一定优势的。

虽然输入数据可能有不同来源，但是在通用系统中重复数据删除流程却是适用于所有数据的。例如，系统管理者可能会通过备份应用将Microsoft SQL环境备份到通用重复数据删除系统中。然后，用户可能会使用一款VMware备份工具将其作为一个VMware镜像获取，将数据迁移到重复数据删除系统中。

在以上的例子中，所有数据都是类似的，不同来源的冗余数据在保存之前就被删除掉了。请注意，这个例子主要是那些一天之内变动很小的文件。在目前的数据中心里，这种多重保护功能并不常见，所以想要在一周或者一个月之内节省下空间是不太容易的。

一般来说，通用重复数据删除系统可以进行in-line重复数据删除操作，因为这是效率最高的方法。而且在理想状态下，重复数据删除系统应该可以识别不同长度的数据组来选择最有效的重复数据删除策略。例如，重复数据删除系统可以提取并且只保存数据库中发生改变的数据组，而不是对整个数据库进行备份。

而且，具备复制功能的通用重复数据删除系统提供了将数据备份到远程站点的最佳解决方案。重复数据删除系统只需要复制网络中的新数据。

最高效的系统可以进行重复数据删除复制、in-line重复数据删除以及多站点之间的重复数据删除。到目前为止存储厂商中Data Domain做到了以上三点。除此之外，in-line重复数据删除可以在系统开始接收数据的时候就启动复制流程。这与VTL系统有所不同，VTL系统通常采用的是post-process重复数据删除，因此在复制流程开始之前会有一个延迟的时间，这也提高了灾难恢复数据的风险。