存储行业发展有个趋势,那就是呈现波浪式发展,每隔3、4年会有一个波峰波谷,业界称之为奥运式复苏周期。在经历了过去两年下滑趋势,2024存储迎来了春天!
2023年以大语言模型为代表的通用人工智能应用的井喷,在算力越来越受到关注的同时,和数据中心密不可分数据存储底座闪存的技术创新也越来越受到关注。不久前,中国闪存市场峰会在深圳举办。包括Solidigm、海力士、三星、美光等闪存厂商都把目光聚焦在如何应对AI挑战。其中包括Solidigm亚太区销售副总裁倪锦峰分享了人工智能工作流中存储面临的挑战以及Solidigm存储产品在人工智能迅猛发展中的独特价值。
人工智能工作流中存储面临的挑战
首先,AI时代数据呈现巨量的和指数级的增长态势, 比如ChatGPT 4可能是数万亿的参数。同时5G, AI等新兴技术也推动着计算和存储加速去中心化,随着与云数据中心传输距离的增加,传统存储技术和方案能否胜任边和端的复杂环境和多样化需求非常令人担忧。
而这些数据将随着AI的发展不断从核心向边缘流动,将对核心到边缘的挑战产生了重大影响。比如,如何挖掘更多核心数据中心的价值,如何最大限度地减少数据流量并降低成本,以及如何减少数据流量的时候提升速度等挑战。
AI助推闪存市场强势复苏
据相关数据显示,预计2024年NAND FLASH超过8000亿GB当量,相比去年增长20%。预计今年存储市场规模同比提升42%以上。这背后是AI技术和应用在行业的广泛应用。
针对存储在AI工作流程中的关键作用等问题, Solidigm亚太区销售副总裁倪锦峰认为,AI数据集不断扩大、降低功耗需求增加,以及存储本地化趋势加速等因素,让高性能存储的必要性愈发突出。与传统存储技术不同,高性能存储不仅有着出色的密度优势,赋予了AI工作负载更优的性能,还可以在AI集群训练过程中保持GPU高效运转,提升整体效率。
SSD可以给AI 场景带来更好的性能并且大大提升可扩展性。而SSD密度对核心数据中心到边到端都至关重要。“SSD也可以帮助AI集群在训练过程中保持GPU高效运转,毕竟GPU目前运行的价格昂贵,没有人希望因为数据等待存储响应导致GPU利用率降低,因此高性能存储,能够最大化计算硬件的价值和效用。” 倪锦峰谈到。
QLC SSD遍地开花,Solidigm引领NAND发展
去年Solidigm推出的全新四层单元(QLC) 固态硬盘(SSD)Solidigm D5-P5430,和QLC数据中心SSD Solidigm D5-P5336产品。引领了QLC数据中产品的发展。
今年大会上,各家纷纷推出基于QLC SSD的产品。如今四层单元(QLC)NAND被反复提及,这是因为当前QLC的性能、耐用性、故障率等技术的成熟,QLC在更低成本下提供与TLC不相上下的性能。
在读区性能上,QLC的读和入门级TLC差不多,不管是顺序还是随机都是如此;
写入性能上,达到TLC性能的80%;
负载延迟方面,Solidigm QLC的延迟和长期稳定性要比TLC,或者是比很多入门级的TLC还要好很多;
耐用性方面,Solidigm QLC擦写次数可以做到3000,跟一般的TLC相比是接近甚至要更好一些;
故障率也与业界领先TLC相同。所以目前QLC NAND和TLC NAND相比,在提供性能一致的同时,价格更友好。
“闪存存储以简化管理、减少占有空间、减少功耗,逐渐成为大型数据中心和云计算首选的解决方案。” 倪锦峰谈到。
而如果与HDD比较,那么优势更明显,上面这张图展示了AI各个工作环节,以及SSD相比于HDD体现出来的性能等方面的优势,这些优势帮助客户解决核心数据中心,一直到边、端的存储问题,带来更好的TCO。以HDD比较为例,采用Solidigm D5-P5336固态硬盘可以服务器总数也是减少了12.5倍,机架占地面积降低11.8倍。5年能耗支出减少4.9倍。五年总支出TCO降低了47%。
Solidigm SSD助力金山云对象存储解决方案,通过实际客户的数据,加载40TB原始数据集,准备进行数据清洗到训练,传统的HDD存储解决方案需要535分钟,9个小时左右,但是新方案只需要11分钟。
Solidigm推出满足大数据集AI的全系列解决方案
Solidigm设计了能够胜任边和端复杂环境、旨在满足客户多样化需求的存储产品组合。在硬件层面,Solidigm D5-P5336等QLC SSD的出色密度可满足核心到边缘的海量数据存储需求,Solidigm SLC SSD也在批量生产并进行应用测试。
在创新上,Solidigm引领行业存储密度的演进趋势,Solidigm也在批量出货第四代产品,引领行业更高密度、更低成本的演进趋势。不仅发布了61.44TB的QLC SSD,D5-P5336超大容量SSD帮助实现了业界最高存储密度的服务器。此外Solidigm SLC SSD也在批量生产。
同时,Solidigm并不止步于密度领先的优势,还开发了云存储加速层(CSAL)等软件,大幅提升SSD的性能和寿命。“QLC SSD结合CSAL,可以帮助我们把顺序化先做好,更好地发挥QLC的特性。CSAL已经开源,免费为客户甚至友商们使用,目前很多客户已经实现规模化部署。” 倪锦峰分享到。Solidigm可以根据AI work不同阶段的不同需求,来选择合适的存储解决方案,并为下一步算力发展打好存力基础。
最后,Solidigm希望与全球包括中国最优秀的合作伙伴深入合作,持续加速AI工作负载、优化基础设施,确保GPU利用率更高,进一步挖掘SSD以及QLC解决AI存力方面的潜力,抓住AI技术革命带来的机遇。
好文章,需要你的鼓励
OpenAI 本周为 ChatGPT 添加了 AI 图像生成功能,用户可直接在对话中创建图像。由于使用量激增,CEO Sam Altman 表示公司的 GPU "正在融化",不得不临时限制使用频率。新功能支持工作相关图像创建,如信息图表等,但在图像编辑精确度等方面仍存在限制。值得注意的是,大量用户正在使用该功能创作吉卜力动画风格的图像。
Synopsys 近期推出了一系列基于 AMD 最新芯片的硬件辅助验证和虚拟原型设计工具,包括 HAPS-200 原型系统和 ZeBu-200 仿真系统,以及面向 Arm 硬件的 Virtualizer 原生执行套件。这些创新工具显著提升了芯片设计和软件开发的效率,有助于加快产品上市速度,满足当前 AI 时代下快速迭代的需求。
人工智能正在深刻改变企业客户关系管理 (CRM) 的方方面面。从销售自动化、营销内容生成到客服智能化,AI不仅提升了运营效率,还带来了全新的服务模式。特别是自主代理AI (Agentic AI) 的出现,有望在多渠道无缝接管客户服务职能,开创CRM发展新纪元。
数据孤岛长期困扰着组织,影响着人工智能的可靠性。它们导致信息分散、模型训练不完整、洞察力不一致。解决方案包括实施强大的数据治理、促进跨部门协作、采用现代数据集成技术等。克服数据孤岛对于充分发挥AI潜力至关重要。