存储行业发展有个趋势,那就是呈现波浪式发展,每隔3、4年会有一个波峰波谷,业界称之为奥运式复苏周期。在经历了过去两年下滑趋势,2024存储迎来了春天!
2023年以大语言模型为代表的通用人工智能应用的井喷,在算力越来越受到关注的同时,和数据中心密不可分数据存储底座闪存的技术创新也越来越受到关注。不久前,中国闪存市场峰会在深圳举办。包括Solidigm、海力士、三星、美光等闪存厂商都把目光聚焦在如何应对AI挑战。其中包括Solidigm亚太区销售副总裁倪锦峰分享了人工智能工作流中存储面临的挑战以及Solidigm存储产品在人工智能迅猛发展中的独特价值。
人工智能工作流中存储面临的挑战
首先,AI时代数据呈现巨量的和指数级的增长态势, 比如ChatGPT 4可能是数万亿的参数。同时5G, AI等新兴技术也推动着计算和存储加速去中心化,随着与云数据中心传输距离的增加,传统存储技术和方案能否胜任边和端的复杂环境和多样化需求非常令人担忧。
而这些数据将随着AI的发展不断从核心向边缘流动,将对核心到边缘的挑战产生了重大影响。比如,如何挖掘更多核心数据中心的价值,如何最大限度地减少数据流量并降低成本,以及如何减少数据流量的时候提升速度等挑战。
AI助推闪存市场强势复苏
据相关数据显示,预计2024年NAND FLASH超过8000亿GB当量,相比去年增长20%。预计今年存储市场规模同比提升42%以上。这背后是AI技术和应用在行业的广泛应用。
针对存储在AI工作流程中的关键作用等问题, Solidigm亚太区销售副总裁倪锦峰认为,AI数据集不断扩大、降低功耗需求增加,以及存储本地化趋势加速等因素,让高性能存储的必要性愈发突出。与传统存储技术不同,高性能存储不仅有着出色的密度优势,赋予了AI工作负载更优的性能,还可以在AI集群训练过程中保持GPU高效运转,提升整体效率。
SSD可以给AI 场景带来更好的性能并且大大提升可扩展性。而SSD密度对核心数据中心到边到端都至关重要。“SSD也可以帮助AI集群在训练过程中保持GPU高效运转,毕竟GPU目前运行的价格昂贵,没有人希望因为数据等待存储响应导致GPU利用率降低,因此高性能存储,能够最大化计算硬件的价值和效用。” 倪锦峰谈到。
QLC SSD遍地开花,Solidigm引领NAND发展
去年Solidigm推出的全新四层单元(QLC) 固态硬盘(SSD)Solidigm D5-P5430,和QLC数据中心SSD Solidigm D5-P5336产品。引领了QLC数据中产品的发展。
今年大会上,各家纷纷推出基于QLC SSD的产品。如今四层单元(QLC)NAND被反复提及,这是因为当前QLC的性能、耐用性、故障率等技术的成熟,QLC在更低成本下提供与TLC不相上下的性能。
在读区性能上,QLC的读和入门级TLC差不多,不管是顺序还是随机都是如此;
写入性能上,达到TLC性能的80%;
负载延迟方面,Solidigm QLC的延迟和长期稳定性要比TLC,或者是比很多入门级的TLC还要好很多;
耐用性方面,Solidigm QLC擦写次数可以做到3000,跟一般的TLC相比是接近甚至要更好一些;
故障率也与业界领先TLC相同。所以目前QLC NAND和TLC NAND相比,在提供性能一致的同时,价格更友好。
“闪存存储以简化管理、减少占有空间、减少功耗,逐渐成为大型数据中心和云计算首选的解决方案。” 倪锦峰谈到。
而如果与HDD比较,那么优势更明显,上面这张图展示了AI各个工作环节,以及SSD相比于HDD体现出来的性能等方面的优势,这些优势帮助客户解决核心数据中心,一直到边、端的存储问题,带来更好的TCO。以HDD比较为例,采用Solidigm D5-P5336固态硬盘可以服务器总数也是减少了12.5倍,机架占地面积降低11.8倍。5年能耗支出减少4.9倍。五年总支出TCO降低了47%。
Solidigm SSD助力金山云对象存储解决方案,通过实际客户的数据,加载40TB原始数据集,准备进行数据清洗到训练,传统的HDD存储解决方案需要535分钟,9个小时左右,但是新方案只需要11分钟。
Solidigm推出满足大数据集AI的全系列解决方案
Solidigm设计了能够胜任边和端复杂环境、旨在满足客户多样化需求的存储产品组合。在硬件层面,Solidigm D5-P5336等QLC SSD的出色密度可满足核心到边缘的海量数据存储需求,Solidigm SLC SSD也在批量生产并进行应用测试。
在创新上,Solidigm引领行业存储密度的演进趋势,Solidigm也在批量出货第四代产品,引领行业更高密度、更低成本的演进趋势。不仅发布了61.44TB的QLC SSD,D5-P5336超大容量SSD帮助实现了业界最高存储密度的服务器。此外Solidigm SLC SSD也在批量生产。
同时,Solidigm并不止步于密度领先的优势,还开发了云存储加速层(CSAL)等软件,大幅提升SSD的性能和寿命。“QLC SSD结合CSAL,可以帮助我们把顺序化先做好,更好地发挥QLC的特性。CSAL已经开源,免费为客户甚至友商们使用,目前很多客户已经实现规模化部署。” 倪锦峰分享到。Solidigm可以根据AI work不同阶段的不同需求,来选择合适的存储解决方案,并为下一步算力发展打好存力基础。
最后,Solidigm希望与全球包括中国最优秀的合作伙伴深入合作,持续加速AI工作负载、优化基础设施,确保GPU利用率更高,进一步挖掘SSD以及QLC解决AI存力方面的潜力,抓住AI技术革命带来的机遇。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。