存储行业发展有个趋势,那就是呈现波浪式发展,每隔3、4年会有一个波峰波谷,业界称之为奥运式复苏周期。在经历了过去两年下滑趋势,2024存储迎来了春天!
2023年以大语言模型为代表的通用人工智能应用的井喷,在算力越来越受到关注的同时,和数据中心密不可分数据存储底座闪存的技术创新也越来越受到关注。不久前,中国闪存市场峰会在深圳举办。包括Solidigm、海力士、三星、美光等闪存厂商都把目光聚焦在如何应对AI挑战。其中包括Solidigm亚太区销售副总裁倪锦峰分享了人工智能工作流中存储面临的挑战以及Solidigm存储产品在人工智能迅猛发展中的独特价值。
人工智能工作流中存储面临的挑战
首先,AI时代数据呈现巨量的和指数级的增长态势, 比如ChatGPT 4可能是数万亿的参数。同时5G, AI等新兴技术也推动着计算和存储加速去中心化,随着与云数据中心传输距离的增加,传统存储技术和方案能否胜任边和端的复杂环境和多样化需求非常令人担忧。
而这些数据将随着AI的发展不断从核心向边缘流动,将对核心到边缘的挑战产生了重大影响。比如,如何挖掘更多核心数据中心的价值,如何最大限度地减少数据流量并降低成本,以及如何减少数据流量的时候提升速度等挑战。
AI助推闪存市场强势复苏
据相关数据显示,预计2024年NAND FLASH超过8000亿GB当量,相比去年增长20%。预计今年存储市场规模同比提升42%以上。这背后是AI技术和应用在行业的广泛应用。
针对存储在AI工作流程中的关键作用等问题, Solidigm亚太区销售副总裁倪锦峰认为,AI数据集不断扩大、降低功耗需求增加,以及存储本地化趋势加速等因素,让高性能存储的必要性愈发突出。与传统存储技术不同,高性能存储不仅有着出色的密度优势,赋予了AI工作负载更优的性能,还可以在AI集群训练过程中保持GPU高效运转,提升整体效率。
SSD可以给AI 场景带来更好的性能并且大大提升可扩展性。而SSD密度对核心数据中心到边到端都至关重要。“SSD也可以帮助AI集群在训练过程中保持GPU高效运转,毕竟GPU目前运行的价格昂贵,没有人希望因为数据等待存储响应导致GPU利用率降低,因此高性能存储,能够最大化计算硬件的价值和效用。” 倪锦峰谈到。
QLC SSD遍地开花,Solidigm引领NAND发展
去年Solidigm推出的全新四层单元(QLC) 固态硬盘(SSD)Solidigm D5-P5430,和QLC数据中心SSD Solidigm D5-P5336产品。引领了QLC数据中产品的发展。
今年大会上,各家纷纷推出基于QLC SSD的产品。如今四层单元(QLC)NAND被反复提及,这是因为当前QLC的性能、耐用性、故障率等技术的成熟,QLC在更低成本下提供与TLC不相上下的性能。
在读区性能上,QLC的读和入门级TLC差不多,不管是顺序还是随机都是如此;
写入性能上,达到TLC性能的80%;
负载延迟方面,Solidigm QLC的延迟和长期稳定性要比TLC,或者是比很多入门级的TLC还要好很多;
耐用性方面,Solidigm QLC擦写次数可以做到3000,跟一般的TLC相比是接近甚至要更好一些;
故障率也与业界领先TLC相同。所以目前QLC NAND和TLC NAND相比,在提供性能一致的同时,价格更友好。
“闪存存储以简化管理、减少占有空间、减少功耗,逐渐成为大型数据中心和云计算首选的解决方案。” 倪锦峰谈到。
而如果与HDD比较,那么优势更明显,上面这张图展示了AI各个工作环节,以及SSD相比于HDD体现出来的性能等方面的优势,这些优势帮助客户解决核心数据中心,一直到边、端的存储问题,带来更好的TCO。以HDD比较为例,采用Solidigm D5-P5336固态硬盘可以服务器总数也是减少了12.5倍,机架占地面积降低11.8倍。5年能耗支出减少4.9倍。五年总支出TCO降低了47%。
Solidigm SSD助力金山云对象存储解决方案,通过实际客户的数据,加载40TB原始数据集,准备进行数据清洗到训练,传统的HDD存储解决方案需要535分钟,9个小时左右,但是新方案只需要11分钟。
Solidigm推出满足大数据集AI的全系列解决方案
Solidigm设计了能够胜任边和端复杂环境、旨在满足客户多样化需求的存储产品组合。在硬件层面,Solidigm D5-P5336等QLC SSD的出色密度可满足核心到边缘的海量数据存储需求,Solidigm SLC SSD也在批量生产并进行应用测试。
在创新上,Solidigm引领行业存储密度的演进趋势,Solidigm也在批量出货第四代产品,引领行业更高密度、更低成本的演进趋势。不仅发布了61.44TB的QLC SSD,D5-P5336超大容量SSD帮助实现了业界最高存储密度的服务器。此外Solidigm SLC SSD也在批量生产。
同时,Solidigm并不止步于密度领先的优势,还开发了云存储加速层(CSAL)等软件,大幅提升SSD的性能和寿命。“QLC SSD结合CSAL,可以帮助我们把顺序化先做好,更好地发挥QLC的特性。CSAL已经开源,免费为客户甚至友商们使用,目前很多客户已经实现规模化部署。” 倪锦峰分享到。Solidigm可以根据AI work不同阶段的不同需求,来选择合适的存储解决方案,并为下一步算力发展打好存力基础。
最后,Solidigm希望与全球包括中国最优秀的合作伙伴深入合作,持续加速AI工作负载、优化基础设施,确保GPU利用率更高,进一步挖掘SSD以及QLC解决AI存力方面的潜力,抓住AI技术革命带来的机遇。
好文章,需要你的鼓励
新加坡国立大学研究人员开发出名为AiSee的可穿戴辅助设备,利用Meta的Llama模型帮助视障人士"看见"周围世界。该设备采用耳机形态,配备摄像头作为AI伴侣处理视觉信息。通过集成大语言模型,设备从简单物体识别升级为对话助手,用户可进行追问。设备运行代理AI框架,使用量化技术将Llama模型压缩至10-30亿参数在安卓设备上高效运行,支持离线处理敏感文档,保护用户隐私。
阿里达摩院联合浙江大学推出VideoRefer套件,这是首个能够精确理解视频中特定物体的AI系统。该系统不仅能识别整体场景,更能针对用户指定的任何物体进行详细分析和跨时间追踪。研究团队构建了包含70万样本的高质量数据集VideoRefer-700K,并设计了全面的评估体系VideoRefer-Bench。实验显示该技术在专业视频理解任务中显著超越现有方法,在安防监控、自动驾驶、视频编辑等领域具有广阔应用前景。
OpenAI推出新AI模型GPT-5-Codex,能够在无用户协助下完成数小时的编程任务。该模型是GPT-5的改进版本,使用额外编码数据训练。测试显示,GPT-5-Codex可独立工作超过7小时,能自动发现并修复编码错误。在重构基准测试中得分51.3%,比GPT高出17%以上。模型可根据任务难度调整处理时间,简单请求处理速度显著提升。目前已在ChatGPT付费计划中提供。
Sa2VA是由UC默塞德等高校联合开发的突破性AI系统,首次实现图像视频的统一理解与精确分割。通过巧妙融合SAM-2视频分割技术和LLaVA多模态对话能力,Sa2VA能够同时进行自然对话和像素级物体标注。研究团队还构建了包含7万多个复杂视频表达式的Ref-SAV数据集,显著提升了AI在长文本描述和复杂场景下的表现。实验显示,Sa2VA在多个基准测试中达到业界领先水平,为视频编辑、医疗诊断、智能监控等领域带来新的应用可能性。