Permabit与Isilon：唇枪舌战大数据

Permabit：正如前面所说的那样，这只是一个旧的数学方法，我们将哈希进程保存在RAM,中，它以处理器的速度运行，实现扩增所需的性能。

Rob Peglar：再者，即使你拥有32TB的RAM，这也有意味着每个节点的CPU必须为每一次和每一个写访问至文件读取16TB的元数据（这是最糟的情况），无论它容量多么小——执行重复数据删除哈希校验——单独的搜索都是非常费时间的。

Permabit：因为我们在索引技术方面有着根本的优势，所以哈希校验通常需要不到10微秒的时间，而我们的专利Delta Index技术真正的提高了速度，使进程更加效率，就像系统存储更多的签名一样。

Albireo Grid具有GX技术，允许通过节点间扩展。它由多个Albireo客户端组成，内嵌于每家OEM厂商的存储软件，通过网络连接到多个Albireo Grid服务器。

在Albireo Grid部署方案中，每个Albireo客户端执行其自有容量级的细分和哈希，再将哈希列表通过Albireo Grid服务器分发，并使网格负载平衡。这是Albireo能够提供的另一种性能和效率功能。

当处理哈希列表的时候，服务器会向客户端发回重复数据删除通知并存储哈希密钥——如果它是唯一的话。

Rob Peglar：基本问题是，数据增长速度快过CPU高效处理元数据性能的提高速度。这就是要扩增的原因所在，重复数据删除并不是最理想的技术。

Permabit：这种说法用在Albireo身上并不正确。还是像前面所说的那样，Albireo索引是高效率的，能使哈希查找成为处理器上可忽略的负载。

Albireo具有行业内领先的且为专利的索引、哈希和内存管理功能，能够克服前面提到的传统重复数据删除所存在的限制。这些功能也使得Albireo能够不受限制的横向扩展，并以行业内破纪录的速度执行重复数据删除，不仅可以在现如今的多核处理器环境中实现，还能够促使厂商们最终部署重复数据删除而无需压缩。

Rob Peglar：它可以节约一些“终端”空间，但正如前面所讨论的那样需要将“大数据”考虑其中。这些数据通常高度唯一，且极少能够被重复数据删除。例如，网页点击量和来自终端用户的交易。每个终端用户都是唯一的（在定义上），且必须能够被分析软件所识别。每一次点击都在不同的时间点进行，一直变化，一直产生增量。

因此，持续接受的新数据流在用户那里很少有冗余。所以，对于“大数据”，重复数据删除通常不是一个好的折衷方案——即使CPU达到了无限快的速度，你也不能节约很多磁盘空间。相比较而言，传统的VM或VDI，其OS图像是不变模式且大部分是只读的；在这种情况下，重复数据删除是不错的折衷方案。但那还不是行业内目前试图解决的问题。亟待解决的问题是接收、分析和长期存储以及大容量（不断增长）唯一且常变数据的保护。

Permabit：行业真正的挑战是要解决如何高效存储大量数据，这就更进一步的结合了大数据。一家典型的企业，即使它进行大数据业务，仍然有过半的数据是来源于企业应用。其中包含诸如用户目录、Office文档，电子邮件和数据库等数据。正如你提到的，虚拟化将继续在企业级领域获得更多市场份额。而这些数据都具有非常高的重复数据删除率。

如果你是一家需要处理PB级存储的企业，你拥有“正确的”重复数据删除技术（既不影响性能同时能够扩展），你怎么会承担不起一项可以帮你节约10倍甚至更多存储成本的技术？