疯狂的数据增长 玛雅人预测大数据存储

我曾读到过一篇文章，说在尤卡坦半岛古老遗迹的石柱上，发现了2012年12月21日世界将会毁灭的预言，这就是我为什么要发表这篇文章的原因。

科学家们现在达成的共识是，关于玛雅人的预言，那只是玛雅人做了一个错误的数学运算，他们省略了指数，并没有把指数放在合适的地方。指数，或者说“10的N次方”是我的第一个数学老师就教过我的，是数学上一个速记表达式。就指数本身而言，它简化了大数值的表达方式以至于我们可以用手指运算，可以方便的表达在屏幕上，也可以通过我们手机上的运算器对大数值进行运算。

在指数带来便利的同时，对指数错误的使用会导致错误的结论。太阳在五千万年以后会演变成超新星，如果指数表达不当，放错了地方，那么最终可能得到的一个表达是太阳将在五年内消亡。

现在IDC和其它的机构也开始用指数去描述数据存储容量的增长。一个分析师展示了一个表格显示出2011年全球范围内存储容量增长了超过21艾字节，也就是21 x 1018 字节。有趣的是，这个分析师说2010年全年产生的数据总数大概在10艾字节，也就是10 x 1018 字节，所以他得出结论，存储容量是个好东西。关于这个数字，我认为IDC做出的这种“数据大爆炸”的评估，其可信度，就好像玛雅遗迹石柱上的预言一样。恐惧、不确定性和怀疑是卖东西的好工具，不管是定价过高的磁盘阵列，还是印有玛雅启示录的T恤衫。

关于那个存储容量增长图，那个分析员辩解说因为共享数据的存储，导致交易型数据减少，但是文件型数据在不断增长。但这都是很老的新闻了，自从中世纪以来他们就在不断的说文件数据存储已经超过了块级数据存储。更让我觉得可笑的是他们断言用来做复制和备份的磁盘空间差不多已经增长到了所有存储容量的一半，而且他们建议公司用他们最为昂贵的磁盘用来存放文件的复制拷贝数据。如果是真的，有三个理由让我觉得恶心：

首先，根据google和其它信息来源，每年磁盘本身就有7%到14%的故障率，这意味着仅仅只是磁盘不可避免的故障率，2012年就有1.4到2.9艾字节的数据处于危险之中。这是一个可怕的想法，而存储制造商正是用这种想法去怂恿用户买更多的备用磁盘和储备更多的空闲存储空间。

其次，考虑到在公司里部署服务器虚拟化的数据增长率，IDC估计未来三年每年会有300%的涨幅，Gartner则预测有600%的涨幅。按照这个估计，2015年用来存储生产数据的存储需求将会在300艾字节到650艾字节之间。如果考虑到磁盘阵列本身自带的数据复制技术，存储容量再乘以2，那么总共需要的存储容量将会超过泽它字节（1泽它字节 = 1,000,000 PB）。考虑到磁盘故障率的因素，加上额外购买的磁盘，你需要另外的91到182艾字节的备用磁盘。

第三，如果你考虑到为这么多磁盘提供电力和制冷的能源需求，你就会发现这是一个无比庞大的能源需求。硬盘的能源消耗大概从3瓦特到10瓦特，计算下多少磁盘才能够提供1.3泽它字节的存储容量，再算上100艾字节的备用磁盘，我们就会得出一个天文数字般的电力能源消耗。同时，对于泽它字节级别的存储散热问题，目前平均水平大约是2千瓦特到10千瓦特每平方英尺。综合电力消耗和散热消耗，硬盘消耗的电力高达全美电力消耗的23.2%！

那个分析师描绘了数据存储的美好前景，也描绘了其极其庞大的开销，不同于玛雅预言的是，存储之路并不是预设好的，也不是不可避免的。

数据压缩和重复数据删除技术对于存储的发展方向有极大影响，存储介质制造商也都在致力于减少能耗和提高能源利用率。但是想要改变存储想现状仍然需要对数据存储有着一个更为整体和系统的策略。

我们需要更加清楚的知道我们存储了什么数据，而且存放在哪儿。我们需要利用磁带存储设备的离线特性，将不需要存放在磁盘上的40%到70%的数据归档而且保护起来，而且我们要限制服务器虚拟化软件对存储基础设施进行无效率的复制。

简而言之，我们需要更有策略的部署我们的存储，否则未来几年预测真的有可能成真，或许就是在距离2012年12月21日不远的将来，这倒不是疯狂的玛雅预测的结果，反而这将会是我们自己作茧自缚的结果。