Sandisk和高带宽内存(HBM)市场领导者SK海力士正在合作标准化高带宽闪存(HBF)技术。
HBF技术旨在为GPU提供快速访问大容量NAND闪存的能力,以补充容量相对有限的HBM,通过避免耗时的PCIe连接SSD数据访问,从而加速AI训练和推理工作负载。与HBM类似,HBF芯片由多层NAND堆叠形成,通过TSV连接器将每一层连接到基础中介层,为GPU提供快速访问。HBF的访问速度可能比SSD快几个数量级。
SK海力士的参与意义重大,因为它开发并供应HBM,在HBM-中介层-GPU领域拥有深厚专业知识,因此了解如何将HBF与之并行实施。两家公司已签署谅解备忘录(MoU),旨在标准化规范、定义技术要求,并探索为HBF创建技术生态系统。
Sandisk执行副总裁兼首席技术官、HBF技术咨询委员会成员Alper Ilkbahar表示:"通过与SK海力士合作定义高带宽闪存规范,我们正在解决AI行业对可扩展内存的迫切需求。这种合作加速了创新,将为行业提供新工具来处理未来应用程序的指数级数据需求。我们的工作将帮助提供有效解决方案,满足世界的技术需求并超越各自客户的期望。"
SK海力士总裁兼首席开发官安炫博士补充说:"通过与Sandisk合作标准化高带宽闪存规范,我们正在积极推动这项创新技术的商业化,我们相信这是释放AI和下一代数据工作负载全部潜力的关键。"
HBM3E一代可提供高达1.2 TBps的带宽和48 GB容量。SK海力士PCIe Gen 5 PCB01 SSD可提供高达14 GBps的顺序读取带宽,比HBM3E的数据传输率慢86倍。
HBF的目标是提供与HBM相当的带宽,同时以相似成本提供8-16倍于HBM的容量。这将高达768 GB。
谅解备忘录暗示SK海力士可能生产并供应自己的HBF。这表明Sandisk意识到需要建立多供应商HBF市场,以向客户保证:首先,他们不会被锁定在单一供应商;其次,竞争将加速HBF开发;第三,即使一家供应商失败,供应也能得到维持。
如果英伟达加入HBF技术接受和标准化,这就成了定局。
Sandisk的HBF技术在FMS:2025年内存和存储未来大会上获得"最佳展示、最具创新技术"奖。
Sandisk计划在2026年下半年交付首批HBF内存样品,并预计首批配备HBF的AI推理设备样品将在2027年初面市。这些设备甚至可能包括手持设备以及笔记本电脑、台式机和服务器。
Q&A
Q1:高带宽闪存HBF是什么技术?有什么作用?
A:HBF是高带宽闪存技术,旨在为GPU提供快速访问大容量NAND闪存的能力,以补充容量相对有限的HBM。它通过避免耗时的PCIe连接SSD数据访问,从而加速AI训练和推理工作负载,访问速度可能比SSD快几个数量级。
Q2:HBF相比HBM和SSD有什么优势?
A:HBF目标是提供与HBM相当的带宽,同时以相似成本提供8-16倍于HBM的容量,最高可达768 GB。相比SSD,HBF速度快得多,HBM3E比SK海力士PCIe Gen 5 SSD快86倍。
Q3:HBF技术什么时候能投入使用?
A:根据Sandisk计划,将在2026年下半年交付首批HBF内存样品,首批配备HBF的AI推理设备样品预计在2027年初面市,这些设备可能包括手持设备、笔记本电脑、台式机和服务器。
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。