EMC重复数据删除汲取微软闪存研究成果

重复数据删除

似乎重复数据删除也能应用这项技术。微软关于FlashStore的官方介绍：“在为重复数据删除测试执行数据块索引任务时，FlashStore相比RAM、硬盘或闪存，能够提供更加显著的出色结果。”

微软研究团队在2010年发表了一篇报告，介绍了名为ChunkStash项目的使用。报告称：

ChunkStash每次数据块查询使用一次闪存读取，并配合RAM预读取策略。它将元数据块在闪存上组织为日志文件，以开发更快的顺序写入。ChunkStash利用内存中的哈希表来为它们编制索引，并通过Cuckoo Hashing的变体解决哈希冲突。

参与过FlashStore项目的Debnath博士在去年11月作为高级软件工程师加入了EMC，现在供职于备份与恢复系统部门（包括Data Domain和Avamar的产品）。Debnath曾在博客中写道：“重点是构建可扩展的索引，以支持大容量重复数据删除系统。”

EMC目前还未采用安装有高速缓存的服务器，但拥有具备企业级闪存驱动器（EFD）存储层的存储阵列，这可以作为阵列的通用FastCache，阵列I/O的缓存方式几乎和NetApp控制器中的FlashCache相同，而缓存读取和写入的方式则不同于NetApp技术，NetApp现在只能做到读缓存。

令人期待的是，EMC可能提供具有PCIe连接闪存的Data Domain控制器，可能会采用Fusion-io、STEC或Violin Memory的闪存产品，且具有更高的重复数据删除性能。

此外要补充一点：微软可能会在其存储产品中采用FlashStore，比如Windows Storage Server。按照微软服务器的模式，这就需要服务器供应商加强x86服务器集成闪存层。值得注意的是，戴尔已经按照这种方式使用了Fusion – io，并收购了专业图像与文件重复数据删除厂商Ocarina，但是也别奢望戴尔在未来能够推出类似FlashStore的系统。

事实上，有人预测，未来一两年内，用于IOPS密集型应用的重复数据删除系统控制器和服务器将会配置一个闪存层。