2019年9月3日,ODCC2019开放数据中心峰会在北京国际会议中心开幕,作为一个旨在聚合数据存储行业力量,共建产业生态的数据大会,今年已经是ODCC成立的第五个年头了。
随着数据存储在当代社会生活中扮演的角色越来越重要,五年来,ODCC已经从一个封闭的行业组织一步步扩展成为了涵括政府主管部门、专业行业机构、技术团队、垂直厂商、行业上下游供应厂商、行业媒体以及专业受众等多元开放的行业峰会了。
西部数据公司作为数据存储行业的佼佼者,从ODCC诞生之初开始,就一直积极参与,并成为峰会的主要赞助品牌,同时西部数据产品市场部副总裁朱海翔,更是在开幕当天就数据存储行业的现状,进行了题为《ZB时代的数据存储核心架构 - 机遇,挑战和阶段》的主题演讲。
在主题演讲中,朱海翔为大家分享了西部数据公司对于数据存储行业的一些思索和展望。
01从32ZB到100ZB 5G/云计算推动数据存储“大跃进”
首先,朱海翔表示,存储行业是一个有着明显周期性变化的行业,同时他用闪存行业在最近几年的行业振荡情况举例,“基于闪存的SSD产品的年复合增长率较高,达到每年44%,但是这个行业也有独特性,周期性非常明显。在2008年、2012年和过去的一到两年中,我们也经历了这个市场周期性的振荡。但是刚刚推出的市场预期是在今年年底到明年年初,这个市场又会很快地回升。”
面对当下存储行业,尤其是闪存行业的持续下行,朱海翔表示这是行业周期性变化,最终会回归到上升的主旋律,其背后的原因便是当下5G、云计算、物联网等一系列依托大数据的尖端技术开始落地,数据存储行业真正迎来了大爆炸时代。
数据存储的量级,也将实现“大跃进”式的增长,根据西部数据公司的预测,数据存储量级将从目前的32ZB,跃升到2023年超过100ZB。
02QLC将成为数据中心主流,写入带宽的限制成为拦路虎
众所周知,HDD因其廉价的成本和较为稳定存储性能,成为了当下大部分数据中心首选存储介质(终端),然而随着闪存技术在X/Y/Z,也就是3D方面的技术革新,闪存的成本也随着技术迭代和大规模的应用,开始变得有竞争力,同时基于闪存存储的小空间、高性能、强度大的适配性、能够适用于各种不同的存储环境等先天优势,QLC颗粒的闪存终端会在未来成为数据中心的主流。
正如同朱海翔所言,“从24层到48层到64层到96层的3D NAND之后到100多层,每隔15个月我们就实现一次迭代。”在可预见的未来,闪存介质的存储产品替代HDD成为数据中心的首选,或将成为现实。
然而,在QLC诸多优势的背后,其每单元需要承受16个电平的通电断电,其写入寿命以及由此带来的存储可靠性,成为了整个行业都不可忽视的挑战。
除了写入寿命,随着3D层数增加、die也将不可避免的增加,同时封装的增大,带来的功耗、发热等问题,也将成为另一个亟待解决的问题。
写入限制亟待解决
同时,朱海翔还表示,“QLC在逻辑扩展的边缘,每个闪存产品厂商都会碰到设计不同参数的情况。增加层数的同时,Die会增加,如果用封装控制Die大小,功耗也会随之增加。此时如果要保持原有设计参数,随着逻辑扩展,写入宽带的限制变得越来越大,这也是我们的行业目前需要快速解决的问题。”
那么面对QLC的这些技术难题,西部数据又是如何应对呢?未来SSD又该如何避免这些风险。
分区存储技术成为解决这些问题的关键因素,所谓分区存储技术,“从功能的角度,可以与计算资源更好的匹配,每一个VM在每一个分区命名空间的每一个小区域内可以建立一对一和一对多的对应。”
简单的理解便是,把数据进行颗粒化的分配,利用软件技术进行数据定义,以实现数据的一对一甚至一对多的对应管理,从而把“写入限制”成功转变成“写入管理”,最大限度避免闪存固有的劣势给存储带来的负面影响。
“写入限制”变成“写入管理”
基于分区存储技术的特性,无论是传统的HDD还是SSD,都可以使用同样的存储技术以实现最大效率的数据管理。
当然了,分区存储技术,是西部数据和NVMe标准化组织进行充分商讨合作,基于数据中心和ZB时代数据存储的特性,进行的革命性技术创新,西部数据针对这项技术进行软硬件系统化的革新换代,同时还就此项技术创立了开源社区,社区地址为ZonedStorage.io。
西部数据希望通过开源的力量,将这项面向未来、能够提升数据中心最大效能的技术成果,能够更快的落地,更快的应用到全球各大数据中心,以实现全球数据生态的全面繁荣。
好文章,需要你的鼓励
OpenAI CEO描绘了AI温和变革人类生活的愿景,但现实可能更复杂。AI发展将带来真正收益,但也会造成社会错位。随着AI系统日益影响知识获取和信念形成,共同认知基础面临分裂风险。个性化算法加剧信息茧房,民主对话变得困难。我们需要学会在认知群岛化的新地形中智慧生存,建立基于共同责任而非意识形态纯洁性的社区。
杜克大学等机构研究团队通过三种互补方法分析了大语言模型推理过程,发现存在"思维锚点"现象——某些关键句子对整个推理过程具有决定性影响。研究表明,计划生成和错误检查等高层次句子比具体计算步骤更重要,推理模型还进化出专门的注意力机制来跟踪这些关键节点。该发现为AI可解释性和安全性研究提供了新工具和视角。
传统数据中心基础设施虽然对企业至关重要,但也是预算和房地产的重大负担。模块化数据中心正成为强有力的替代方案,解决企业面临的运营、财务和环境复杂性问题。这种模块化方法在印度日益流行,有助于解决环境问题、满足人工智能的电力需求、降低成本并支持新一代分布式应用。相比传统建设需要数年时间,工厂预制的模块化数据中心基础设施可在数周内部署完成。
法国索邦大学团队开发出智能医学文献管理系统Biomed-Enriched,通过AI自动从PubMed数据库中识别和提取高质量临床案例及教育内容。该系统采用两步注释策略,先用大型AI模型评估40万段落质量,再训练小型模型处理全库1.33亿段落。实验显示该方法仅用三分之一训练数据即可达到传统方法效果,为医学AI发展提供了高效可持续的解决方案。