HDS NAS设备添加系统闲时重删功能

日立数据系统公司（简称HDS）已经决定将重复数据删除功能赋予其网络附加存储（简称HNAS）套件与日立统一存储（简称HUS）中端阵列。这一消息来自该公司首席技术官Hu Yoshida。

HNAS是HDS在收购BlueArc公司时获得的一项硬件加速技术；该系统需要依赖于可编程芯片（即FPGA）方能实现加速效果。HUS阵列文件控制器使用BlueArc硬件引擎与软件。Yoshida表示新加入的重复数据删除功能具备以下特性：

• 自动化运作。
• 理想的重复数据清理效果，绝非几字节的增减。
• 在文件服务负载超过阈值时降低数据清理速度。
• 利用加密哈希算法来确保数据完整性。
• 重复数据删除对文件管理器的全部可用容量起效——即256TB。

这套“智能重复数据删除流程会感知到数据添加活动并自动在系统闲置时启用重复数据删除引擎，”这位CTO在他的企业网站上写道。如果当前文件读取及写入请求过于繁忙，系统会自动降低重复数据删除的执行优先级。清理流程着眼于存储文件，利用哈希数据库来识别各个重复数据块。重复数据块被删除之后，回收到的空间即可用于满足其它数据的存储需要。

HDS的重复数据删除功能拥有自己的散列算法与组块加速方式，但这一切都依赖于FPGA硬件而非需要占用CPU资源的纯软件。Yoshida在本周的博客中指出：“产品本身自带一套基础散列/组块引擎许可，用户还可以通过授权获取三套额外的散列/组块引擎；四套引擎同时工作将使重复数据清理性能提高到近四倍。”

根据我们的理解，这意味着HUS文件及对象属于重复数据删除的清理范畴，但HUS数据块则被排除在外。

Yoshida表示，一位HDS客户在16分钟内利用重复数据删除功能清理了120万个文件，但他并没有透露清理过后实际节约的存储容量。据称，该删除功能的效率能够“媲美其它重复数据删除算法”，且“其效率取决于数据集与文件系统的数据块大小。”说的没错。根据我们得到的消息，这项重复数据删除功能的初次公布是在今年一月份。