超越存储管理，化解数据难题

四、文件系统的管理：大规模分布式文件系统（或称集群文件系统）、云存储等。

分布式文件系统因为Amazon S3、Google GFS这些公共云存储应用而再次受到人们的重视。另外一些Internet服务提供商，比如Facebook、国内的淘宝等都因为应用的需求而产生了大量的非结构化数据。就像我们曾经谈到的“盛大在线关于云存储的愿景”那样，自主研发分布式文件系统是一种比较合适，而且总体成本较低的解决方案。比如上海盛大在线计划在雅虎开源的Hadoop分布式文件系统基础上进行开发，淘宝的TFS经过1.0版本之后还要不断升级2.0、3.0…。这些都需要投入一定的人力等资源进行研发和维护方面的工作。

淘宝的TFS文件系统的总体结构

下面这段话是盛大在线CTO朱敬先生所说的：

“分布式存储它的概念就是你不需要采购比较昂贵的大型存储设备，而你只需要采购一些非常小的存储，比如说一个PC机，下面挂一个磁盘库（柜）。类似于这种性质的存储，就是集群的概念。我想你们比较熟悉的就是国外的一些技术，像Google、亚马逊也会采取这样一个分布式存储的技术，能够达到存储虚拟化的过程。”

这里的“存储虚拟化”与本文前面提到的SAN存储虚拟化概念有所不同，这里讲的是“文件”虚拟化。通过一个带有全局命名空间的分布式文件系统，将后端存储服务器上的空间聚合起来，实现一定的冗余容错和负载均衡，并将元数据处理的负担分散到多个节点上。

IBM SONAS集群NAS产品结构图，分布式文件系统在应用上与它有相似的地方

如此的实现方式，在应用上与集群NAS有些类似，不过分布式文件系统的软硬件是分开的，而集群NAS则相当于把它们打包在一起。具体应该选择哪种？要根据数据的规模、重要性以及用户自己的开发集成能力等方面来考虑。

负责以上所说的文件系统相关工作的人员，可能被归属于软件（开发）工程师之类的职位，但他们的工作是和存储、数据管理密切相关的，因此称为存储工程师也不为过。