海量存储场景下存储系统的挑战与应对

海量存储场景下传统IT系统面临的挑战

伴随着各种终端技术及网络的发展，人类感知世界，探索世界的步伐越来越快，大量的数据被采集并记录。种种数据表明，人类已进入信息爆炸时代。从IDC研究来看，从2009年到2020年，全球信息总量增长44倍以上，将达到35.2ZB（1ZB=1,000,000PB），而每一家组织都将面临需要存储至少10倍以上数据量的现状。存储系统的容量需求已经从几十T发展到几十P甚至100P以上，我们把这种场景称为海量存储场景。海量存储场景对存储系统提出了巨大挑战。

传统存储架构很难应对海量存储场景所引发的诸多问题。首先，传统IT系统多为“烟囱式”架构，一平台一应用，如果需要扩容，原有的架构和部署方式必然发生巨大变化，并且多系统之间很难实现数据共享，扩容成本极高。其次，多套系统造成管理、维护效率低下。研究表明，IT系统用于维护的费用占到整体费用的72%，远高于首次采购设备的费用。而这一状况在进入海量存储时代后变得更加突出。

需求与现状正在产生巨大矛盾。如何降低整体拥有成本，提高管理维护效率，保证业务连续性是当前存储系统亟待解决的难题。

海量存储系统应运而生

新的产品与服务不断出现以解决上文提到的矛盾，公有云服务是有效手段之一。企业采用“以租代买”的方式，把建设与管理IT设施的风险交给了运营商。云服务运营商提供近乎无限的存储空间供用户使用，“按需购买”的付费方式也降低了用户使用IT设施的门槛，从而解决了扩展性和成本的问题。因此公有云市场最近几年发展迅猛，其中最具代表的就是亚马逊，存储在亚马逊的对象数在2011年增长了192%，达到7千亿个，相当于为整个地球上每个人提供近100个对象存储。

然而公有云并不能解决所有问题。网络存储对带宽消耗巨大，同时出于安全性的考虑，一些企业也不愿把自己苦心经营得到的数据存放到第三方数据中心。因此很多企业选择自建数据中心。他们选择低廉的服务器与存储，基于开源软件进行研究与开发，自建海量廉价资源池。但这种方式对研发及测试实力要求极高，中小企业很难做到。大型企业往往投入大量人力物力也无法做到商用要求，得不偿失。

不论是借助公有云还是自建数据中心，背后对存储的需求是一致的，最突出的就是极高的扩展性及极低的TCO。只有解决了这两个难题，系统才能在海量存储场景下，满足高速发展的业务增长需求。

这种以高扩展和低TCO为核心诉求的存储显然不是现有存储系统所具备的。现有存储不论是SAN还是集群NAS，都很难满足100PB以上的部署要求。因此，一种新的存储类型应运而生，它可以满足海量存储场景下的部署要求，追求极强的扩展性，极低的TCO，以及较好的开放性以应对各种上层应用，而这种新的存储类型对网络时延要求较低。我们把这种新的存储类型称为海量存储系统。

近几年部件技术的快速发展也为海量存储系统的诞生创造了条件。磁盘容量越来越高，从2TB，4TB到8TB，10TB，而磁盘单位容量的功耗越来越低。处理器计算能力越来越强，而每核所消耗的功耗也越来越低。同时万兆以太网技术也在不断成熟。这些都是海量存储系统登上存储历史舞台的必要条件。

华为UDS海量存储系统开创EB级存储未来

海量存储系统以对象作为基本存储形式。对象是数据和自描述信息的集合，是数据在磁盘上存储的基本单元。对象存储在文件系统的基础上进行优化，通过降低文件系统目录、接口的复杂度，提高了当对象数量高速增长时系统的扩展性。同时对象的智能自管理功能也能有效降低系统维护复杂度。

海量存储系统适用于对容量要求极高，而网络时延要求相对较低的应用场景，如公有云存储服务。一方面当客户数量快速增长时对存储空间的需求难以预期，另一方面服务是通过互联网提供的，用户对网络延迟具有较高的容忍度。海量存储系统可以作为基础架构为用户提供空间存储服务，或基于存储的上层业务服务。在行业应用中也能找到适合海量存储系统的应用场景，如数据归档，媒资管理等。

UDS海量存储系统是华为面向海量存储市场推出的最新产品。UDS采用基于ARM架构的低功耗、高密度存储节点，通过对象存储技术、P2P分布式存储引擎技术、集群应用技术等构建海量对象存储基础架构平台，对外提供S3、NFS、CIFS等多种访问接口，以满足不同业务的适配需求。基于UDS可以构建多种解决方案，如海量资源池，网盘，云备份，集中备份等。

如何解决海量数据所带来的困境是信息化社会必须面对的问题。华为携手运营商与行业客户，基于UDS海量存储系统，开拓创新，构建强扩展，易管理，高可靠的EB级数据管理方案，轻松应对各种挑战，开创海量数据业务的未来。