存储行业发展有个趋势,那就是呈现波浪式发展,每隔3、4年会有一个波峰波谷,业界称之为奥运式复苏周期。在经历了过去两年下滑趋势,2024存储迎来了春天!
2023年以大语言模型为代表的通用人工智能应用的井喷,在算力越来越受到关注的同时,和数据中心密不可分数据存储底座闪存的技术创新也越来越受到关注。不久前,中国闪存市场峰会在深圳举办。包括Solidigm、海力士、三星、美光等闪存厂商都把目光聚焦在如何应对AI挑战。其中包括Solidigm亚太区销售副总裁倪锦峰分享了人工智能工作流中存储面临的挑战以及Solidigm存储产品在人工智能迅猛发展中的独特价值。
人工智能工作流中存储面临的挑战
首先,AI时代数据呈现巨量的和指数级的增长态势, 比如ChatGPT 4可能是数万亿的参数。同时5G, AI等新兴技术也推动着计算和存储加速去中心化,随着与云数据中心传输距离的增加,传统存储技术和方案能否胜任边和端的复杂环境和多样化需求非常令人担忧。
而这些数据将随着AI的发展不断从核心向边缘流动,将对核心到边缘的挑战产生了重大影响。比如,如何挖掘更多核心数据中心的价值,如何最大限度地减少数据流量并降低成本,以及如何减少数据流量的时候提升速度等挑战。
AI助推闪存市场强势复苏
据相关数据显示,预计2024年NAND FLASH超过8000亿GB当量,相比去年增长20%。预计今年存储市场规模同比提升42%以上。这背后是AI技术和应用在行业的广泛应用。
针对存储在AI工作流程中的关键作用等问题, Solidigm亚太区销售副总裁倪锦峰认为,AI数据集不断扩大、降低功耗需求增加,以及存储本地化趋势加速等因素,让高性能存储的必要性愈发突出。与传统存储技术不同,高性能存储不仅有着出色的密度优势,赋予了AI工作负载更优的性能,还可以在AI集群训练过程中保持GPU高效运转,提升整体效率。
SSD可以给AI 场景带来更好的性能并且大大提升可扩展性。而SSD密度对核心数据中心到边到端都至关重要。“SSD也可以帮助AI集群在训练过程中保持GPU高效运转,毕竟GPU目前运行的价格昂贵,没有人希望因为数据等待存储响应导致GPU利用率降低,因此高性能存储,能够最大化计算硬件的价值和效用。” 倪锦峰谈到。
QLC SSD遍地开花,Solidigm引领NAND发展
去年Solidigm推出的全新四层单元(QLC) 固态硬盘(SSD)Solidigm D5-P5430,和QLC数据中心SSD Solidigm D5-P5336产品。引领了QLC数据中产品的发展。
今年大会上,各家纷纷推出基于QLC SSD的产品。如今四层单元(QLC)NAND被反复提及,这是因为当前QLC的性能、耐用性、故障率等技术的成熟,QLC在更低成本下提供与TLC不相上下的性能。
在读区性能上,QLC的读和入门级TLC差不多,不管是顺序还是随机都是如此;
写入性能上,达到TLC性能的80%;
负载延迟方面,Solidigm QLC的延迟和长期稳定性要比TLC,或者是比很多入门级的TLC还要好很多;
耐用性方面,Solidigm QLC擦写次数可以做到3000,跟一般的TLC相比是接近甚至要更好一些;
故障率也与业界领先TLC相同。所以目前QLC NAND和TLC NAND相比,在提供性能一致的同时,价格更友好。
“闪存存储以简化管理、减少占有空间、减少功耗,逐渐成为大型数据中心和云计算首选的解决方案。” 倪锦峰谈到。
而如果与HDD比较,那么优势更明显,上面这张图展示了AI各个工作环节,以及SSD相比于HDD体现出来的性能等方面的优势,这些优势帮助客户解决核心数据中心,一直到边、端的存储问题,带来更好的TCO。以HDD比较为例,采用Solidigm D5-P5336固态硬盘可以服务器总数也是减少了12.5倍,机架占地面积降低11.8倍。5年能耗支出减少4.9倍。五年总支出TCO降低了47%。
Solidigm SSD助力金山云对象存储解决方案,通过实际客户的数据,加载40TB原始数据集,准备进行数据清洗到训练,传统的HDD存储解决方案需要535分钟,9个小时左右,但是新方案只需要11分钟。
Solidigm推出满足大数据集AI的全系列解决方案
Solidigm设计了能够胜任边和端复杂环境、旨在满足客户多样化需求的存储产品组合。在硬件层面,Solidigm D5-P5336等QLC SSD的出色密度可满足核心到边缘的海量数据存储需求,Solidigm SLC SSD也在批量生产并进行应用测试。
在创新上,Solidigm引领行业存储密度的演进趋势,Solidigm也在批量出货第四代产品,引领行业更高密度、更低成本的演进趋势。不仅发布了61.44TB的QLC SSD,D5-P5336超大容量SSD帮助实现了业界最高存储密度的服务器。此外Solidigm SLC SSD也在批量生产。
同时,Solidigm并不止步于密度领先的优势,还开发了云存储加速层(CSAL)等软件,大幅提升SSD的性能和寿命。“QLC SSD结合CSAL,可以帮助我们把顺序化先做好,更好地发挥QLC的特性。CSAL已经开源,免费为客户甚至友商们使用,目前很多客户已经实现规模化部署。” 倪锦峰分享到。Solidigm可以根据AI work不同阶段的不同需求,来选择合适的存储解决方案,并为下一步算力发展打好存力基础。
最后,Solidigm希望与全球包括中国最优秀的合作伙伴深入合作,持续加速AI工作负载、优化基础设施,确保GPU利用率更高,进一步挖掘SSD以及QLC解决AI存力方面的潜力,抓住AI技术革命带来的机遇。
好文章,需要你的鼓励
人工智能领域正在通过改进模型工作方式来释放新功能。研究人员开发了一种名为"SVDquant"的4位量化系统,可以使扩散模型运行速度提高3倍,同时提升图像质量和兼容性。这种技术通过压缩参数和激活值来大幅降低内存和处理需求,为资源受限的系统带来新的可能性。
Meta公司开发了一种机器学习模型SEAMLESSM4T,能够实现36种语言之间的近即时语音翻译。该模型采用创新方法,利用互联网音频片段避免了繁琐的数据标注。这一突破性技术有望简化多语言交流,但仍需解决噪音环境、口音等挑战,并关注技术可能带来的偏见问题。
生物制药行业正积极拥抱人工智能技术,大型企业投入巨资,小型公司谨慎布局。行业面临人才、数据和工作流程等挑战,但预计到2025年将在AI就绪度方面取得实质性进展。AI有望加速药物研发,提高效率,最终造福患者,重塑医疗保健的未来。
随着 AI 需求激增,数据中心行业面临严峻挑战。能源消耗激增威胁可持续发展目标,新项目遭遇公众反对。电力供应和分配方式亟需改革,行业或将迎来动荡的 2025 年。