对非结构化数据成熟、完整的理解是新一代对象存储的核心竞争力

作者:任新勃   【原创】   2020-09-24 17:31:22

关键字: 对象存储

今天包括邮件、文档、音视频和图像等非结构化数据面临的一个最大挑战是有效利用率低,仅仅不到1%的非结构化数据被有效利用。

石油现在被誉为现代工业体系的血液,基于石油的充分挖掘和利用对人类社会和经济生活产生了巨大的影响。但是从最早发现原油的数千年的时间里,人类只是简单地把石油作为燃料、润滑剂等材料。石油的价值远远没有发挥出来。直到近代,随着现代科学和科技的进步,人们实现了对石油的海量采集和利用。

 

数据也是一样,随着图片、音视频技术的迭代以及数据存储技术的不断突破,人们发现非结构化数据增长是呈现爆炸式增长。但是很长时间,企业的数据因为成本、技术等原因,要么没有被存储,要么长期存储却一直被忽略。

 

比如我们熟悉的医疗行业的影像资料、气象部门的海量数据,金融机构的“双录”数据,教育行业的教学资料,以及今天流媒体、短视频爆发带来的海量资料。如何更好地存储、管理、利用这些数据,并把这些数据的价值挖掘出来,成为企业长期发展的重要战略。

 

非结构化数据利用的挑战和机遇

 

今天包括邮件、文档、音视频和图像等非结构化数据面临的一个最大挑战是有效利用率低,仅仅不到1%的非结构化数据被有效利用。

 

为什么会有这么多未被利用的数据?首先是非结构化数据增长迅速,目前80%的数据是非结构化数据;其次缺乏有效的使用途径,目前非结构化数据主要存储在对象存储,对象存储在合规、归档、次级或冷数据的存储方面具有优势。

 

但是非结构化数据利用好,其价值却非常明显。更好、更快的数据访问能使非结构化数据成为营收增长的助推器。福布斯最近发布的《培育数据驱动文化的四个关键支柱》文章中的数据显示,对于一家《财富》1000强企业而言,当企业数据可访问性增长10%,就可以带来超过6500万美元的额外净收入。

 

除了营收增长之外,非结构化数据的利用还可以带动技术进步来更好地访问数据的新创新方式,包括支持新应用和使用更多工具来利用非活跃应用中隐藏的数据,来助力企业更好、更快地决策。

 

升级对象存储解决方案来应对非结构化数据增长

 

一方面越来越多的企业组织将目光投向“存、管、用”三者兼顾,即性价比、安全性和易用性并重的分布式对象存储解决方案。另一方面非结构化数据管理的特殊性,需要企业重新认识对象存储。

 

首先性能和规模兼顾。面对新的工作负载,面对云原生应用的发展,传统的NAS工作负载正逐步转移至对象存储,当然面对数据湖和大数据仓库,对象存储需要在搜索和分析等功能上进行创新,来满足企业用户对于规模和性能兼顾的需求。

 

其次成本上的考虑。目前我们看到一些现实的情况,大多数企业的预算跟不上数据增长。比如数据量增长超过20%,但是存储预算平均只增长10%。

 

同时还对数据访问有更高的要求。5G的到来需要数据中心在包括处理速度、延时、I/O响应时间等性能上有所突破,来带动整个数据生命周期里业务流程的优化和速度的提高。实现做得快与做得好相平衡,同时要保证满足客户随时随地安全可靠的数据访问的需求。

 

除此之外,对象存储还要再在架构上满足多云的需求。云上应用如何保证数据的流通并实现数据的采集、分析和供给能力。

 

Hitachi Vantara新一代HCP对象存储

 

Hitachi Vantara一直以来就是希望通过在IT领域长期的数据采集、分析能力并结合其一百多年的运营经验,给用户提供一个整体解决方案;从用户实现业务重构的角度来帮助推动其数字化转型。

 

Hitachi Vantara认为安全可控的数据管理是最大的基础。新一代HCP在安全性、易用性和高性价比方面具有显著的优势,并且拥有可以协同工作的一整套解决方案,集对象和文件存储优势于一身。对于超高性能和大容量应用的数据存储需求,全新扩展的HCP可以提供紧密耦合的解决方案堆栈,基于元数据的数据智能和自动化管理,既拥有独立规模的单个容量池,又能够实现本地和公有云业务的业务连续。

 

金融、电信等行业的业务与合规需求使得非结构化数据必须长期留存并保证完整性,这就对存储系统的数据保护能力提出了很高的要求。HCP的EC纠删码、DPL多副本保护、WORM(一次写多次读)、多版本管理、数据自校验和自修复等机制能够充分应对物理故障、系统逻辑故障和人为错误,实现免备份的数据保护,保证数据100%符合行业监管要求。

 

 

其次是高性价比。HCP可以帮助企业组织在提升业务效率的同时有效降低存储成本。Hitachi Vantara中国区首席技术官吴卫平表示,HCP产品组合的数据管理方式跟一般的分布式文件系统比如Hadoop是不一样的。“为实现数据的高可靠存储,我们不是采用多副本,而是通过纠删算法,获得比Hadoop三副本算法高得多的存储效率。HCP S11和S31系列存储平台是一个高密度的存储平台,呈现在前端给用户看到的是统一的命名空间。数据存放在S节点上,只需要额外消耗30%的空间就可以避免最常见的硬盘故障造成的数据丢失隐患,相比之下Hadoop采用三副本的保护模式需要额外消耗200%的空间。举个例子,存1PB的数据,我们只需要不到1个机柜的空间,而Hadoop需要60个节点120U,大约需要5个机柜。”

 

可以说采用HCP S系列软件,可以实现对象存储的性能和规模提高3倍,对象读写性能提高超过3倍,在相同的机架空间中容量提高三倍。

 

HCP还拥有企业级用户所期待的易用性。其具备多项强大的原生功能,能够支持客户通过平稳地改变现有主要存储的用途,显著提高存储的有效容量。Hitachi Vantara与WekaIO正式发布了全球OEM合作关系。WekaIO是一个海量、高速的集合NAS和对象的管理平台。“它有自己的算法和引擎,使大规模的NAS可以根据要求去计算,同时又可以实现计算和存储分离。” Hitachi Vantara中国区首席技术官吴卫平谈到WekaIO的价值。这样热数据可以通过前端计算,温、冷数据可以通过对象存储把数据卸载下来,提高效率。

 

HCP还提供了易用的下载和上传功能,并能够有效监测和控制不断增长的数据量。此外,HCP产品组合中也包括了HCP Anywhere、HCP Anywhere Edge,以及HCP Gateway,通过建立基于对象存储的私有云,能够满足企业组织的远程办公需求,应对时代的挑战。

 

最后,我们看到在权威分析机构GigaOm近期发布的《GigaOm非结构化数据管理雷达报告》中,Hitachi Vantara凭借Hitachi Content Platform(HCP)对象存储产品组合位列领导者区域,并且正在向中心区域移动,这表明Hitachi Vantara在非结构化数据管理方面的能力具备完善、成熟的解决方案。相信只有对非结构化数据的存储和管理了解越深,才能实现数据和业务的转换,从而利用数据的分析来提高业务效率和员工生产力,将数据真正转换为有价值的信息,来提升企业的竞争力和服务用户的能力。

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:13070156560 举报邮箱:jubao@zhiding.cn 安全联盟认证