我们需要整合重复数据删除吗？

我曾经提到过单点重复数据删除功能，也就是整合重复数据删除引擎，这样只有一个提供商和一种重复数据删除引擎来管理所有优化数据，不管存储层级是主存储、二级存储、归档还是备份。不过问题是，你真的需要这种重复数据删除功能吗？

正如我所指出，理论上来说整合重复数据删除流程是有一定好处的。通过这种引擎的数据越多，那么数据被可以被更好地优化。如果每个存储层中有不同的重复数据删除引擎，那么这就意味着你在不同存储层之间迁移数据的时候就必须对其进行扩展或者转换。

事实是，现在我们暂时还不会有这种整合的重复数据删除平台，所以你不会感觉到你马上就会需要这种平台。根据最近我们所做的研究，有不到20%的数据中心已经开始实施某种重复数据删除技术，所以你很可能正在使用重复数据删除技术作为备份流程的一部分。从某种程度上说，你只在一个存储层上实施重复数据删除的时候才是整合重复数据删除。

针对重复数据删除技术存在的很多问题，你必须在不止一个存储层上是使用这项技术。似乎用户们对很多问题存在分歧：下一个应该被优化的领域是什么；你优化了主存储或者二级/归档存储吗；我认为相对归档来说，主存储更有可能成为下一个被优化的主要目标。

我还认为，随着磁盘归档解决方案变得越来越快，备份重复数据删除应用也增加了更多归档功能，从重复数据删除的角度来说，这两个存储层可能被合二为一，最终成为整合重复数据删除引擎针对的第一个领域。

主存储将优化技术的下一个主战场，原因很简单：这里的回报是最高的。如果你可以在更少的空间内保存更多的数据，那么人们就会特别关注你。我们曾经提高到过很多实现这一目标的方法：压缩、重复数据删除和归档，等等。在主存储中压缩可能比重复数据删除更重要。你可以对所有数据进行压缩，但却只能对冗余数据进行重复数据删除。

从这点来看，我们可能将有两或三个存储层被三种不同技术执行重复数据删除。不同存储层之间的迁移将是一个挑战，因为使用不同技术可能需要对数据进行转换。主存储重复数据删除厂商可以开发出一种迁移引擎来将数据迁移到下一个存储层中，备份重复数据删除厂商可以迁移到上一个归档层中。

所以说，为了完成这个循环——主存储、归档和备份——还有很多工作要做，而且随着重复数据删除的普及，我们将可以从一个平台而不是多个平台上获得不同的重复数据删除技术。

不管怎么样，我们需要一个单点的重复数据删除，但是我们不太可能实现这个目标，那么就做好管理不同重复数据删除平台的准备吧。