Sun Micro前CTO爆:Greenbytes打造重复数据删除方案

Sun Microsystems公司前任CTO Randall Chalfant撰写了一份尚未公开发表的白皮书，根据我们得到的内部消息，这份文件宣称Greenbytes公司的重复数据删除技术将带来近乎零延迟效果，并且有望为全球用户带来速度最快的联机重复数据删除方案。

该方案采用4K数据块。根据Chalfant（现任Greenbytes公司行业顾部委员会成员）的说法，只要数据进入Greenbytes系统，则：

1. Greenbytes系统将接收数据并将其存储在写入日志当中。日志保存在一块或多块固态硬盘上，而后写入应答将被返回至客户端，这样其操作系统与应用程序即可继续运行而不必等等数据写入过程彻底结束。
2. Greenbytes的软件将数据输入分为三个特定阶段：开放阶段、静止阶段（处于非活动状态）以及同步阶段。在开放阶段，客户端允许向内存缓冲区写入尽可能多的数据。接下来，每过几秒系统就会保存一套快照，然后进入缓冲区静止（禁用）阶段，这意味着系统已经准备好向磁盘写入数据。在同步阶段，每个数据块都将进行256位hash计算。
3. hash值被保存在重复数据删除缓存当中，这套缓存组件由一块或者多块固态硬盘构成，而且可以随时间的推移轻松扩展，从而调整存储系统的大小。重复数据删除缓存只保留重复数据删除搜索表，而且采取固定的数据访问等待时间。
4. GreenBytes的技术会在一段几乎恒定的时间内确认存储系统中是否存在着使用hash值的匹配块。它会调用查找算法进行概率恒定时间搜索。
5. 系统会查看经过计算的hash值，确认其是否已经存在于重复数据删除缓存当中。该缓存会依固定时间返回应答，而且如果不存在匹配，则向存储体系写入一个新的4K数据块。如果已经存在匹配，则写入一条指针。

为了让大家了解更多细节，Greenbytes公司CTO兼创始人Bob Petrocelli表示：

hash值的宽度实际上是可以调节的。目前我们允许使用128位、192位以及256位hash值。默认状态下使用256位。我们借助一项专利技术利用hash值处理搜索方法。……

最重要的一点是在事务处理阶段识别到写入接合并确定哪些块涉及写入操作。在这个阶段中，我们需要考虑很多复杂的问题。

举例来说，像应用程序日志这样的块可能被多次覆盖，那么系统将只执行一次写入，而后将单一数据块的最终状态复制到所有块当中，这就大大减少了实际写入次数。系统将利用内存AVL树中的一套模板实现此类写入聚合机制。

该系统能够实现零延迟，这是因为我们有能力立即备份写入操作并通过意图日志加以保护，这样在事务处理阶段系统就不必再为重复数据删除功能浪费资源。如果数据流中存在需要删除的重复数据，我们将给用户带来傲视同侪的速度表现，这是因为我们向磁盘提交的数据量最小。

Greenbytes公司CEO兼董事长Steve O’Donnell还补充称：“搜索流程通过一小部分hash值（64位）来快速识别可能需要写入的块，这将显著降低保存hash值所需的内存容量，同时尽可能降低vIO（即虚拟桌面软件）在管理程序中所造成的影响。”

Greenbytes打算利用多项专利保护自己的重复数据删除软件，同时用法律武器捍卫自己的知识产权。事实上他们已经这样做了。

早在2009年甲骨文公司着手收购Sun Microsystems的时候，Sun就曾经向Greenbytes提起过专利诉讼，声称对方侵犯了自己的重复数据删除技术。当时Greenbytes刚刚宣布Sun公司使用了Greenbytes自主研发的重复数据删除方案。

2010年，这场法律纠纷终于落下帷幕。Greenbytes公司继续销售并开发其重复数据删除技术。

甲骨文/Sun ZFS重复数据删除技术似乎自那时起就停止了发展脚步，且至今未有明显起色。