自动精简配置和重复数据删除核心技术探究

在当前日益汹涌的金融危机逐渐影响实体经济的情况下，企业面临存储扩容需求时不得不精打细算，为了降低最终拥有成本(TCO)，除了减少初次采购成本，也希望尽可能减少企业今后的运营维护成本。重复数据删除技术作为时下最热门的存储优化技术，能显著降低存储设备物理介质消耗，并减少数据中心对空调，空间，和灾备的消耗，还可以与本文涉及的自动精简技术无缝配合，极大降低存储系统的维护管理成本，显著提高企业存储系统的利用率，实为抵御当前经济危机的又一利器。

首先介绍存储系统的自动精简配置(Thin Provisioning)技术。自动精简配置技术扩展了存储管理功能，虽然实际分配的物理容量小，但可以为操作系统提供超大容量的虚拟存储空间。随着应用写入的数据越来越多，实际存储空间也可以及时扩展，而无须手动扩展。换句话说，自动精简配置提供的是“运行时空间”，可以显著减少已分配但是未使用的存储空间。

如下图所示为使用传统配置方式创建了3个卷。整个存储系统有2TB的可用存储空间。卷1的大小是500GB，其中有100GB实际数据，另外400GB是已经分配但是未使用的空间。卷2的大小是800GB，其中200GB实际数据，另外600GB为已分配但未使用的空间。卷3的大小是550GB，其中50GB实际数据，另外500GB为已分配但未使用的空间。整个存储系统有350GB的实际数据，1.5TB已分配但未使用的空间，并最后剩下150GB可用空间给其他应用。

同样的2TB存储系统采用自动精简配置技术之后，结果较传统方法有显著差异。系统管理员同样创建这3个卷，使用自动精简配置之后，由于存储空间是在数据写入过程中动态申请分配的，因此就不存在已分配但未使用的空间。所以采用自动精简配置之后整个存储系统里同样有350GB数据，但有1.65TB可用空间。相对于使用传统配置方式时的150GB，采用自动精简配置使得可用空间增加了11倍！

由此可以看出，采用自动精简配置可以把存储空间的利用率提高到近乎100%。另外自动精简配置不仅可以提高存储空间的利用率，降低IT人员进行存储管理的复杂度，还可以极大减少存储系统扩容的规模，增加现有存储系统支持的应用服务器的数量。

以下对自动精简配置的优点进行简单的总结：

用户可以创建更多的卷，单个卷的空间可以更大，并可以动态地管理各个卷的大小。

用户可以在初次购买更少的存储介质，并在随后按需增加磁盘容量。

在创建卷时不需要进行深入的容量规划，减少IT管理人员存储配置的工作量，避免预估不当造成的存储空间浪费。或者存储空间不够导致后续中断业务以进行扩容升级。

存储介质的空间利用率显著提高，相应地在同样的存储空间下可以支持更多的应用服务器，提升存储系统的利用率。

重复数据删除(De-duplication)技术，主要是对存储数据流以一定的目标尺寸进行指纹校验，对于其中重复出现的数据单元，在实际写入存储介质时，只需记录相应的指纹记录位置即可，因此可以极大降低存储介质消耗。“去重率”这个参数就是用来定义重复数据删除中的优化率，它等于原数据大小除以去重之后的数据大小，实际去重率随去重模块部署在存储系统的位置以及数据的重复率有较大差异。对于次级备份数据，一般的去重率在10-20：1之间。另外还可以配合硬件压缩，像Hifn公司的DR系列硬件加速无损压缩板卡，可以在不影响备份设备性能的前提下取得2：1的压缩比。这样两者结合，可以实现20~40：1的数据缩减比。

当前重复数据删除主要被用于次级备份业务，一般和虚拟磁带库（VTL）处在同一位置。如果说IP-SAN市场的崛起是源于对链路要求从FC到IP的降级，那么支持重复数据删除的IP-SAN设备会更加加速这样的趋势。因为经过重复数据删除和压缩处理之后，应用产生的数据被大量缩减，使得之前利用FC构建的主存储和次级存储之间的链路的负担显著减轻，从而完全可以被更经济的IP链路所取代。

2009年，自动精简配置和重复数据删除这两种技术可以显著提升存储介质的利用率，进而提升存储系统的利用率，减小企业IT运营成本，降低管理成本，有利于企业在经济发展面临困境时顺利过冬。