探索数据管理的未来（NetApp远景系列之一）

    我们正处在全球数据爆炸的开始阶段，相比之下未来50年人口急剧增长显得微不足道。到2050年，世界人口预计从65亿增加到91亿。更惊人的预测是，自动监视和数据收集设备（50年前闻所未闻）的数量可能不久就超过人类。更多人口 + 更多设备 + 更多时间 = 更多数据。据IDC Worldwide Disk Storage Systems Forecast2006-2010 ，我们可以预计全球数据在这十年中的复合年平均增长率为 50.6%。这个增长率意味着每5.5年左右，需要管理的数据将增加10倍。

    数据呈指数增长

    现在创建和访问数据比以前更容易。单单互联网数据，全球超过十亿用户不停地在创建，并且这个数字每天都在增加。互联网已经成为静止图像、视频和音频的巨大存储库。手机、便携式计算机和 PDA 不断增多，这些设备通过专用网络、无线网络和互联网等多种访问点连接数据，所有这一切都加快了数据的增长。用于组织连续性和安全的环境传感器、视频监视系统和通信记录系统在公共和私营部门中创建大量基本数据。

    非结构化数据（未存储在数据库中的大量文件和电子邮件）是这种增长的最主要因素，占组织在线存储数据量的70%到80% 。此类数据的增多是大量书面存档的日常转换。

    数据文件的有意副本也加剧了数据量的增长。重要数据例行复制到多个位置以防止所有类型的灾难。例如，在数据挖掘领域，通常为了运行商务智能查询而复制巨大的数据库。应用程序开发和测试过程中也会有意地创建大型数据库的大量临时副本。在全球，重要数据例行复制到多个位置以防止所有类型的损失。

    个人在共享文件时无意中创建数不尽的数据文件副本，使问题更加复杂。请看某个人将一个文件发送给 15 位同事时产生的副本数：收件人将文件保存到个人系统之后，可能还复制一次文件作为备份，按规定第二次复制，第三次复制用于灾难恢复。这样，将单个文件发送给 15 个人可能产生 60 个文件副本：15 个有意副本和另外45个无意副本。

    数据管理成本急剧增长

    随着数据量的增长，复杂性相应增加，因此数据管理成本也相应增加。具体地说，数据管理复杂性随不断增长的数据量呈对数增长。

    存储数据的成本是一种消耗。存储密度不断提高，使保存数据比决定什么值得保存的成本更低。数据对未来应用有价值的可能性使人们对不加区别的选择感到悲观。 在没有经济原因而需要对所有现有数据进行整理的情况下，没有人执行清理工作。这种低效率对 IT 预算造成空前的消耗。由于存储器成本的不断下降，一种使所有这些数据保持可用的观念使得 CIO 和 IT 管理员愿意付出更多。

    访问要求更严格。数据访问需求也越来越具有挑战性。全球化有效地终止了计划停机时间。虽然纽约正值休息时间，但是上海却正值工作时间，数据必须全天候可用。如今的网上世界要求 100% 的数据可用性。

    易管理性困境

• 不保留：不再需要时由用户删除的临时数据。
• 保留到某个时间：法规要求保留规定的一个时期才能删除的数据。
• 由于不知道而无限期保留：永远不会被删除的数据。

    法律要求更复杂。越来越多的商务运作采用数字方式进行记录和存储，关于商务和数据的法律法规越来越多，并且未能遵从这些法规所导致的后果会越来越严重。在美国，未能保持客户个人信息安全可导致入狱和最高罚款 50 万美元。Sarbanes-Oxley 规定，未能遵从数据保留政策可导致最长 20 年监禁和最高 500 万美元罚款。Gartner 预测，到 2006 年末，没有将数据库中存储的信用卡号加密将被视为美国未授权公开民法案例中的法律疏忽。欧盟要求电信部门保留三年之内的客户电话记录。无论在什么国家或地区，这些法律法规的负担总是落在 IT 部门。

    商务风险后果更严重。全球网上经济要求空前的数据可用性和安全性。从短期观点来看，数据中断会对公司的盈利产生有害影响。从长远观点来看，数据中断会损害公司的声誉并产生严重的财务影响。

    除了无法访问数据之外，丧失数据安全性的后果也很严重。Gartner 在 2005 年 9 月对侵犯隐私的成本进行的一项量化研究中，Gartner 估计 100,000 记录侵犯隐私的成本是平均每个客户帐户 90 美元，包括通知、信用报告和法律成本，但不包括罚款和品牌损害。

    许多因素都会增大安全风险；其中一个是数字数据高度便携。目前，一卷备份磁带可以保存 2000 万磅重的书面文件。从前只能放在巨大仓库中的数据现在可以放在口袋中随身携带。此类数据整合产生大量安全漏洞。

    人类管理的数据已经太多。归根结底，只有三种类别的数据：不保留的数据、保留到某个时间的数据以及由于不知道而无限保留的数据。其中，无限期保留的数据占绝大多数。

    并非所有无限期保留的数据将来都要使用。但是考虑到一卷备份磁带等于 2000 万磅书面文件，显然设法判明哪些数据值得无限期保留是一项耗费巨大的任务。靠人工挑选此类数据也显然永远不会发生。如今，保存所有数据比决定要丢弃哪些数据更容易且更划算。

    要规划一个存储环境，使它能够有效地满足访问、安全、法规遵从、成本控制和更改等方面的要求，IT 架构师必须担当多种角色。他们需要是律师、保安、财务总监、外交官、技术专家和预言家。期望 IT 架构师成为所有这些方面的专家并不现实，因此CIO 现在转向存储供应商寻求帮助。