国家层面已经把数据要素定义成即土地、劳动者、资本以及技术之后的新型生产要素,特别是AI技术和应用的发展,围绕数据要素的创新成为企业数字化转型的重要驱动力。
Statista机构预测,到2025年,全球生产、获取、复制的数据量呈现指数级增长,数据总量将达到181ZB。要实现在海量数据中挖掘数据的价值,其前提是数据存储和管理。
我们知道,过去几十年的数字化转型过程中,各个企业组织在发展过程中不断形成多个独立的系统用于存储与管理副本数据,但是长期以来,这些系统彼此之间无法有效地进行数据的共享和集成,导致副本数据隔离与孤立。势必带来数据管理、数据利益、数据安全以及的成本不断上升等挑战。
近日,爱数研发副总裁邓平与至顶科技进行了深度交流,分享了他对当前海量数据给企业数字化转型带来的挑战以及爱数的副本数据管理的理念以及方法,并深入探讨了副本数据中台在增强数字化韧性方面的优势。
邓平 爱数研发副总裁
爱数超可用BG负责人
数据增长带来必然的多样化数据平台
今天,几乎所有规模企业都存在多个数据平台,以当前最火的新能源汽车为例,一辆新能源汽车从生产到销售过程中,包括前期的设计数据、测试数据、以及生产环节数据,还包括销售之后,汽车的运行数据。包括大量的日志数据,音视频数据,一个庞大的数据集合,并在汽车运行过程中每时每刻反馈电池的数据、智能座舱的数据、运行的数据等等,可以确保在汽车出现质量问题的时候,是电池问题、驾驶原因还是别的外因。
同理,金融、制造、政府等行业数字化转型过程中会产生大量的数据,包括脱离了生产系统的备份数据、归档数据、开发测试数据,但是这些数据在很多业务场景中需要用到这些数据。
最关键的是这些数据需要存放多年,因此,混合 IT 架构下,往往需要建设多套灾备系统,满足不同环境、不同系统的保护需求。这样生产环境的虚拟化的平台需要灾备系统、用于大数据训练和推理的大数据平台需要灾备系统,面向客户管理的云平台需要灾备系统。
“而多套灾备系统,带来更多建设成本,增加了统一运营、运维管理复杂度,而备份副本隔离,还造成副本数据孤岛。”邓平谈到。
副本数据孤岛蔓延带来的数字化韧性挑战
最关键的是,副本数据孤岛给企业数字化转型带来了众多挑战,比如海量数据的存储和管理、IT架构越来越复杂、勒索病毒、人为误操作等各种安全风险以及不断增加的存储成本。具体而言:
多副本数据带来的数字化弹性挑战
企业有哪些数据类型?不同业务的数据存在哪?不同业务数据量是多少?是否有冗余副本?数据是否被保护?保护策略是否合理等?面向PB~EB 级数据等大量重复副本数据的高效管理,如何解决存储与管理成本飙升的挑战。
架构日益复杂带来的业务连续性挑战
面向现代化新型复杂架构业务系统,传统灾备方案面临失效,业务连续性难保障等挑战。以灾难恢复演练为例,面向复杂的业务系统,其演练不仅周期长,而且难度大,从准备环境,到输出合规性报告,整个周期持续时间过长,不能即时获取业务连续性建设成效;且过程中的人工操作较多,容易出错。在传统备份产品下,往往需要人工来解决此类问题。
各种安全风险带来的数字化服务水平挑战
面向多副本数据环境,勒索病毒、人为误操作等各种安全风险呈现几何增长,现有的数据平台缺乏系统化数据生命周期管理,难以确保在整个数据生命周期各阶段均能从容应对风险,与此同时,缺乏数据可视化,也无法进行有效的数据资产盘点。
大环境下的降本增效难实现
最后,多套单点方案建设和管理难度大, 包括备份恢复、数据归档、测试数据管理等方案单独建设和管理成本高,降本增效难实现,数据冗余存储和分散管理,数据冗余存储和低效管理,难以实现数据高效追溯和整合;测试数据管理效率低下,频繁的测试数据供数需求,导致巨大成本浪费等。
比如一个中型商业银行每年的测试数据申请需求在 800+次,年供给测试数据量在数 PB 至数十 PB 之巨,每次数据拷贝到数据脱敏需要数天至数周;频繁的测试数据,给架构和存储开销带来的挑战,是行业内普遍性存在和难以解决的问题。
“我们看到行业对于大量副本数据管理的挑战,所以推出副本数据平台来助力客户增强他的数据管理和运行能力的同时,实现降本增效。” 邓平谈到爱数副本数据中台推出的原因。
以副本数据中台增强数字化韧性
爱数的副本数据中台,以融合式中台架构整合组织的备份、归档、测试等副本数据, 提供体系化数据灾备、体系化防勒索病毒、应用级灾备、统一数据管理、测试数据管理等场景方案,消除副本数据孤岛,释放副本数据价值,提升业务连续性、数字化服务水平、数字化弹性,实现降本增效, 全方位增强数字化韧性。
邓平分享了爱数副本数据中台的几个优势。
首先,全新升级的副本数据湖,构建全面的数据管理能力。爱数副本中台从备份数据湖升级为副本数据湖,实现了从汇、存、管、用全阶段提供数据管理的能力。
其次,更立体的数据安全与合规策略,覆盖汇、存、管、用 的防勒索病毒能力,满足 3-2-1-0 备份策略,遵从 STDB 合规要求。
第三,基于数据资源地图与数据搜索,实现高效副本数据管理,更精准的数据搜索,“通过数据分类与标签的实现历史数据快速搜索,通过数据资源地图,组织可基于数据热度、所属业务等信息,分类管理副本数据实现全局管理 还支持多样化、多细粒度的数据搜索,实现在海量副本数据中任意历史数据的快速定位与供给,从而实现更高效的数据提供和副本数据全局管理。”邓平解释到。
最终,通过副本数据湖技术、汇、存、管、用全阶段数据管理、体系化数据灾备、体系化防勒索 病毒、应用级灾备、统一数据管理、测试数据管理以及立体数据安全体系实现了以融合式中台打造的架构极简,助力企业更方便的使用副本数据中台。
丰富的场景方案,全方位赋能业务
在梳理完副本数据中台的创新特点之后,邓平还重点分享了副本数据中台在体系化数据灾备、体系化防勒索病毒、应用级灾备、统一数据管理以及测试数据管理等场景的应用。
以体系化数据灾备与可观测性方案为例,传统灾备方案难以实现整个应用系统的可用性难以实时观测,并且应用级灾备建设成本高、难度大、管理复杂,需要手工定位故障费时费力、缺少IT监控和分析溯源能力,并且应用级可用性难保障,手动接管/演练效率低,单点方案无法实现应用级接管。
爱数副本数据中台能够为复杂应用系统打造业务连续性管理方案。AnyBackup Family 8 结合 AnyRobot Eyes 5 ,实现从应用系统识别、应用级灾备建模、故障监控与定位,到应用级灾难恢复的端到端业务连续性保障。 高效、经济地提升分布式、云原生等复杂业务系统的可用性,保障业务连续性,增强组织的数字化韧性。
实现了从业务出发,进行故障模型定义、健康度观测,通过表象业务异常深钻底层设备故障的全方位业务观测和风险分析;并且覆盖架构与业务发现、灾备保护、故障定位、灾难恢复、故障回迁全流程,从事前、事中、事后保障业务连续的全流程业务连续性管理;最终通过,灾备与可观测性技术深度融合,降低应用级灾备管理与灾难恢复的复杂性。
“对于今天的企业而言,副本数据的价值已经不仅仅是备份容灾,更是具体到从数据分类、调用到回溯的具体数据使用场景,以及面向数据的关键环节。”邓平最后分享到。
好文章,需要你的鼓励
受中国各智能手机品牌坚持低库存战略的影响,智能手机NAND闪存产品面临订单减少,且合同价格与上季度基本持平。与此同时,由于零售市场需求疲软,闪存晶圆的合同价格也开始逆转进入下行。
12月5日,IEEE Tech Frontiers论坛举办,囊括IEEE PES T&D、PVSC、CVP三大会议精华。
年初时,整个存储行业依然处于低迷期,但随着AI需求的迅猛上升,存储需求也随之激增,推动了行业的快速复苏与发展。这一波技术创新与市场需求的双重浪潮,给Solidigm带来了前所未有的机遇,也考验着其应对行业变革的能力。
艾斯本不断推陈出新,依托丰富的行业经验,推出了包括绩效工程、制造与供应链、资产绩效管理、地下科学与工程、数字电网管理和工业数据结构在内的六大解决方案。更值得一提的是艾斯本提出的“工业AI”理念,正以有型的投资回报率,推动客户实现价值跃升。