EMC重复数据删除汲取微软闪存研究成果

EMC最近将微软的研究成果应用到闪存中，作为DRAM和硬盘之间的一个内存层，以提高Data Domain重复数据删除的速度。

FlashStore是微软的一个研究项目，该项目主要研究将闪存写入分批放进服务器主内存中，再将其作为一页或一块写入，实际上就是把随机闪存写入转换成连续写入，避免块擦除/写周期（这是闪存所特有的）。

这些周期不仅会使闪存写入变慢，由于特定一段时间内块擦除/写周期增加，可能导致使用寿命缩短，而且闪存块的擦除/写周期也是有限的。

微软研究人员表示FlashStore可以通过使用索引访问闪存缓存中的数据，在最大程度上减少对DRAM的占用。

有一个关键：利用哈希表索引来存储数值。微软表示使用Cuckoo Hashing可以节约该表行和列的空间，从而减少哈希表中槽的数量和大小。

在Cuckoo Hashing中，任何键值都使用了两个哈希函数而不是一个，并在表中给键值分配了两个位置而不是一个。表槽中的任何预留键值都会被导出，并被放入替代槽，导出任何已经驻留的键值，直到发现空槽。

显然，这样可以节省查找时间，只需检查两个插。但该表必须保持低于半满的状态，如果表全满，就没有空槽来储存剩下还未放置的哈希键值，这时必须重新构建。

从计算科学领域回归

研究人员表示，FlashStore 的DRAM表可以减少对DRAM的占用，提供每一次查找平均一个闪存读取的高速访问。这意味着服务器使用FlashStore后，执行速度可以快上好几倍。“数十个因素可以提高数据吞吐量”。

研究人员还称：“这对于有高IOPS需求的应用很有意义，一块使用FlashStore的闪存盘可以替代10到20块硬盘。”

这不仅可以节省资本开支、节能、节省运营开支、还能获得更快的吞吐量：可谓是成本、能源、性能三个指标共赢的解决方案。