随着数字化时代的到来,数据渗透于我们生活的方方面面。伴随着大数据、人工智能、移动互联网、物联网、人工智能等技术对生活与商业的渗透,无法否认,我们已进入数字化的新时代。这些变化带来了当今产业界共同关心的话题,如何更好的存储海量数据?

西部数据公司副总裁兼中国区业务总经理刘钢
西部数据,一家在存储领域深耕51年的领导者,参展2021深圳国际大数据与存储峰会暨展览会。此次峰会包含主论坛、圆桌对话、数据存储、分布式存储、云存储、区块链存储等主题论坛,超过50余场的专业论坛分享。西部数据公司副总裁兼中国区业务总经理刘钢在大会上带来了以“创新存储架构,突破IPFS算力瓶颈”为主题的演讲,重点介绍了基于分布式存储的Web3.0或IPFS的基础设施架构下相应的存储技术和解决方案。
在演讲中,刘钢表示:在2024年的时候,以HDD为代表的大数据预计将增长到1.62ZB,那从现在开始到2024年,年化增长率在30%左右。除了大数据以外还有快数据,因为我们不仅想把数据存储下来,还希望能够对数据进行挖掘、进行计算,来为客户的商业提供帮助。

西部数据公司副总裁兼中国区业务总经理刘钢
根据调研数据,到2024年日常所产生的数据量将超过143ZB,然而,受存储技术与存储架构限制,其中,只有约2ZB能够被存储下来,占比还不足1.5%。在数字时代下,数据已经成为了我们每个人重要的资产,如何存储自己的大量数字化资产也是越来越多人将要面临的问题。

但目前,数据存储面临着挑战。用户对于存储的需求总结下来为四个方面,大容量、快速访问、低成本、还需要低功耗。然而,目前来讲仍然无法找到一种存储介质能够同时满足以上要求。但是,换一种思路,将数据存储划分为不同的应用场景的需求,再针对应用场景的特性来提供对应的存储解决方案,这就是存储架构的创新,即分布式存储架构。西部数据根据数据使用频率将其分层,由低到高依次为极冷数据、冷数据、温数据、热数据和极热数据,并针对不同数据层来提供不同存储解决方案。

西部数据公司副总裁兼中国区业务总经理刘钢
基于此,IPFS去中心化分布式存储“应运而生”。 以去中心化为特点的IPFS存储架构,相较于传统的中心化思路的云存储服务商,能够显著的节省它们的服务提供成本,进而降低整体系统的存储成本。同时,有统计数据表明, IPFS存储相比较云供应商的发展步伐更快,仅仅用了4个季度,18TB大容量硬盘就成为了主流。而且对于用户选择更高容量存储设备的好处是十分明显的。因为单个硬盘容量密度越高,相应的服务器数量就会减少,这也就意味着单位功耗会降低,相应的部署成本和运营维护成本也会减少。

刘钢在演讲中还分享道,“本季度很多IPFS服务商和云服务商已经在考虑迁移到18T高密度的硬盘。比如Dropbox,全球领先的云存储服务商,它在去年年底就已经迁移到20T SMR HDD了。通过迁移到20T SMR,得到了更低的总体拥有成本(TCO)与更高的存储密度。”
与中心化的存储方式相比,IPFS存储面向全球构建了一个点对点的分布式版本文件系统,利用哈希的地址来替代基于域名的地址,并且还用点对点的IPFS存储协议,替代集中式超文本传输协议(也就是HTTP)。IPFS将存储的技术与区块链技术结合,为企业级用户提供了新的存储选择。
在技术方面,刘钢为在场的行业同仁分享了西部数据近些年进行的一些探索。 以大数据存储而言,基于其少量写入、大量读取、大量数据的应用特性,西部数据将其归为极冷数据和冷数据类别,并为其提供了业界单碟最高2.2TB,总容量达20TB的Ultrastar DC HC650。尽管业界近些年一直传HDD将被SSD大规模取代,但目前来讲这部分数据更适合成本更低的HDD进行存储。除了成本更低之外,HDD相较SSD也更适合长时间存储。对于超大规模数据中心和云计算领域,凭借氦密封技术提供的出色功耗以及机械创新,西部数据HDD容量方面领先业界,还使客户能够更有效地配置和扩展数据中心环境,同时提供更低的总体拥有成本。
今年西部数据与合作伙伴铠侠联合研发出第六代162层3D闪存技术,采用超越传统八层交错式存储孔阵列的领先架构,其横向单元阵列密度比第五代技术提高了约10%,能够使晶圆尺寸减小约40%,每个晶圆的制造位增加了高达70%,从而优化了成本。

峰会现场西部数据展台
除此之外,西部数据也携手众多合作伙伴,将存储技术和存储架构应用到IPFS领域。西部数据、星辰天合、浪潮联合推出的IPFS解决方案,该解决方案搭载了专为 IPFS 场景而生的 XSFS系统,基于通用的 X86 服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,并且通过部署西部数据Ultrastar DC HC550 18TB硬盘,显著提高了的存储容量,同时降低集群的节点数量,节省能耗、机柜空间等相应成本;西部数据还携手长城超云打造了IPFS“新范式”, 以西部数据高性能大容量企业级硬盘Ultrastar DC HC550 18TB HDD为基础,设计了异构产品组合的集群测试方案,包括Miner、Worker和Storage,大幅提升了客户的业务效率,从而增强了客户在IPFS领域的核心竞争力。

西部数据Ultrastar DC SN840 NVMe SSD和西部数据Ultrastar DC HC550 18TB HDD
西部数据作为数据存储行业的领导者,致力于为广大的用户群体提供可以满足不同需求的存储解决方案。同时,也为了更好的迎接数据井喷式增长,帮助用户存储重要的数据,西部数据会就数据存储架构和高性能解决方案的整体优化,进行更多的技术投入和合作,共同推动未来数据存储架构的激活和发展。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。