IDC报告指出,预计2023年,企业、机器、工业、消费、科学等领域每年产生的数据量将高达103 ZB。而视频应用和物联网应用是主要的数据来源,那么今天基于传统的数据中心存储架构是否能满足未来海量数据存储的需求?答案是不能。
当前数据中心存储架构主要特点包括,面向有限数据规模的普通架构,主要存储结构化数据、采用RAID等传统存储处理方式。而海量数据时代,面临的是海量无限的非结构化数据的对象存储,其采用纠删码等更为经济高效的数据备份策略。
因此如果用普通存储架构来处理海量的非结构化对象存储,面对工作负载的多样性、应用的多元性和海量数据集时,通用性存储必须分配未使用的容量和/或 DRAM 来管理所有工作负载,这就造成了不仅本身存储架构效率低下,同时其整个IT数据中心的成本开销也是巨大。IDC基础架构系统、平台与技术集团副总裁Ashish Nadkarni在与至顶网等媒体沟通时谈到:“预计到2022年,HDD和SSD的总金额将达到IT基础架构总支出的27%,对于云和超大规模数据中心客户来说,通过优化存储基础架构来实现更大规模经济效益的机会到来。”
传统数据中心的存储架构已经成为瓶颈,对于存储架构的重构势在必行。
那么针对视频、物联网/边缘数据、监控,以及大型人工智能/机器学习数据集的数据存储,全新的数据中心存储架构应该如何建立?我们如何解决呢?
今天整个IT环境正在从“集群化”向“编程化”演进,那么存储架构是否是这样的趋势?构建一个可编程的去集群化基础架构是否是解决海量数据的有效手段之一?
答案是肯定的,由于越来越多的数据具有顺序写入的特性,比如视频、物联网/边缘数据、监控,以及AI/机器学习产生的海量数据,如果通过编程来实现海量数据的分区存储,对工作负载进行合理优化,那么就能助力数据中心提高性能和效率,再次实现总体拥有成本的降低。
我们了解到,西部数据长期以来致力于可编程的数据分区存储软件开发,不仅在高容量的SMR HDD管理软件方面不断创新,同时推出全新的ZNS SSD控制软件。与传统的NVMe SSD相比,ZNS NVMe SSD具有多种优势。这些ZNS SSD符合NVM Express公司定义并管理的ZNS功能集规范,旨在减少写放大,增加可用容量,并提供更高的吞吐量和更低的时延。
ZNS SSD通过将“区域”与SSD的内部物理属性进行匹配而实现这些改进,有效的减少数据存放低效能的现象。SMR和ZNS正在从根本上重塑云和企业数据中心,以确保在未来能够长期节约总体拥有成本。
同时作为在NVMe联盟持续做贡献以及长期为开源社区提供基于SMR工具的自然延伸,西部数据特别推出了ZonedStorage.io。该网站与开源社区、客户和行业参与者通力合作,目的是在开发人员社区内启动应用开发计划,帮助数据中心基础架构工程师更好的利用分区存储技术。
那么您是否想了解更多的关于存储架构转型升级的信息?是否全面了解如何既实现大容量的存储同时又不影响到存储性能,还能够降低企业数据存储的TCO? 是否想了解在 ZB 时代 SMR 在机架大规模使用上具有更好 TCO 优势?
近日我们将邀请西部数据高级副总裁兼中国区总经理 Steven Craig、西部数据产品市场部副总裁朱海翔,以及产品市场部高级总监 Eddie Ramirez,来深度了解西部数据的分区存储计划,赋能数据中心存储架构重构,最终实现海量数据更智能的存储和管理。
了解详细内容请点击:http://www.zhiding.cn/special/WDC_201908
好文章,需要你的鼓励
研究人员基于Meta前首席AI科学家Yann LeCun提出的联合嵌入预测架构,开发了名为JETS的自监督时间序列基础模型。该模型能够处理不规则的可穿戴设备数据,通过学习预测缺失数据的含义而非数据本身,成功检测多种疾病。在高血压检测中AUROC达86.8%,心房扑动检测达70.5%。研究显示即使只有15%的参与者有标注医疗记录,该模型仍能有效利用85%的未标注数据进行训练,为利用不完整健康数据提供了新思路。
西湖大学等机构联合发布TwinFlow技术,通过创新的"双轨道"设计实现AI图像生成的革命性突破。该技术让原本需要40-100步的图像生成过程缩短到仅需1步,速度提升100倍且质量几乎无损。TwinFlow采用自我对抗机制,无需额外辅助模型,成功应用于200亿参数超大模型,在GenEval等标准测试中表现卓越,为实时AI图像生成应用开辟了广阔前景。
AI云基础设施提供商Coreweave今年经历了起伏。3月份IPO未达预期,10月收购Core Scientific计划因股东反对而搁浅。CEO Michael Intrator为公司表现辩护,称正在创建云计算新商业模式。面对股价波动和高负债质疑,他表示这是颠覆性创新的必然过程。公司从加密货币挖矿转型为AI基础设施提供商,与微软、OpenAI等巨头合作。对于AI行业循环投资批评,Intrator认为这是应对供需剧变的合作方式。
中山大学等机构联合开发的RealGen框架成功解决了AI生成图像的"塑料感"问题。该技术通过"探测器奖励"机制,让AI在躲避图像检测器识别的过程中学会制作更逼真照片。实验显示,RealGen在逼真度评测中大幅领先现有模型,在与真实照片对比中胜率接近50%,为AI图像生成技术带来重要突破。