访谈：Isilon与大数据

问：横向扩展文件服务器需要一个集成归档/备份功能的后端系统保存冷数据吗？或是以重复数据删除形式？

Rob Peglar：通常是需要的，冷数据只有一种使用情况，其它的更多是战略，如对重要/关键数据的保护，尽管不经常使用“冷”这个字眼，高度重要的数据必须归档，不仅仅是出于保护的缘故，同时还为了满足法律和/或安全方面的需要，因此，任何系统，不管是否要横向扩展，都必须如此保护，横向扩展在这里发挥着非常重要的作用，因为它可以作为主要和辅助仓库，即归档横向扩展，归档本身就含有横向扩展的性质，通常是将数据添加到永久保存的档案中。

归档通常也是“最后的仓库”，因此保护它也是至关重要的，这是为什么横向扩展是一种出色的方法的另一个原因，它不仅保护了磁盘，还保护了节点，可以隔离任何小范围的故障。Isilon特别开发了一个M+N的横向扩展方法，即使是磁盘故障（介质）和节点故障（如断电，电缆被拔掉，人为错误等），也能将数据丢失的可能性降到最低程度。

这对磁带归档来说是一个超好的做法，因为磁带库故障通常意味着磁带不可访问，必须物理移除，这是不可横向扩展的，横向扩展归档意味着归档数据只有一个副本，通过架构保护是至关重要的。

问：横向扩展文件服务器可以从重复数据删除技术受益吗？假设它不会降低性能。

Rob Peglar：一般来说，答案是否定的。首先，假设就不成立，任何数据浓缩技术（无外乎三种：压缩、重复数据删除和增量增加）都有性能影响，此外，重复数据删除也有空间影响，平衡办法就是相对于数据的元数据，在大规模环境中，删除重复的元数据变得非常重要，例如，如果保存每个4KB数据块的哈希值（CRC），一个4PB小规模的数据仓库元数据就有4万亿项。

如果每个哈希结构（CRC和磁盘指针，如给定一个哈希值，它的数据在哪里？）只有64位，或8字节，这意味着32TB哈希元数据必须在任何时间跨全部节点保持一致，不仅要在稳定和有保护的存储上存储这32TB数据，存储本身也要够快，几乎要和CPU的处理能力一样快，给每个节点配32TB内存来保存哈希值成本太高，再说，即使你有32TB内存，也意味着每个节点上的CPU在每次写文件时都必须读取16TB元数据（在最坏的情况下），不管文件有多小，都要执行哈希检查，光搜索就够呛了，必定需要大量的时间。

最根本的问题是，数据增长速度超过了CPU处理其元数据的能力，这就是为什么重复数据删除也不是一个非优化技术的原因，它可以节省一些末端空间，但和大数据相比就显得微不足道了。这些数据通常都是非常独特的，很少能用上重复数据删除技术，例如，来自最终用户的网页点击和流量，每个最终用户都是唯一的，必须能被分析软件识别，每次点击都是一个不同的点，总是在变，始终递增。

新产生的数据很少是重复的，因此，对大数据来说，重复数据删除通常是一个不好的处理办法，即使CPU可以无限快，你也不能省出多少磁盘空间，拿这个和传统的VM或VDI利用率相比，操作系统镜像是不可改变的，大多数时候都是只读的，因此，重复数据删除是一个很好的对策，但那不是行业现在正试图要解决的问题，问题在于提取、分析和长期存储，以及大量（且不断增长的）唯一且不断变化的数据的保护。

问：公司有一个单独的逻辑文件作为大数据的一部分一起存储，还是有一个物理上和大数据分离的文件？

Rob Peglar：肯定有逻辑文件，它可以像单个目录那么简单，所有大数据都位于这个下面。Isilon在这方面有巨大的优势，整个文件系统是一致的，都位于一个名字（ifs）下，人们可以在/ifs/bigdata下看到所有分析数据，/ifs/users是Home目录，/ifs/exchange是邮件目录，还有更多，每个目录都有它自己的属性（元数据），如保护级别、分层/驻留、运动、QoS、复制和快照等。

人们意识到为不同目的用多个文件系统的好处，没有了管理位于不同挂载点下的各种文件系统的噩梦，从规模上来讲，它比单一命名空间和单一文件系统有明显的优势。