韩国科学技术院(KAIST)及其太字节互连与封装实验室(Tera)研究团队发布了未来四代高带宽内存(HBM)技术发展路线图,预计最高可达64 TBps带宽和24层堆叠结构,比HBM4性能提升50%。
目前最新的HBM4代产品带宽可达2 TBps,最大支持16层DRAM芯片堆叠,容量达64 GB。HBM标准由JEDEC(联合电子设备工程委员会)发布,首个HBM标准(JESD235)于2013年发布,随后的HBM2、HBM2E、HBM3和HBM3E版本在带宽、容量和效率方面不断改进。
在散热技术方面,HBM3和HBM4采用强制风冷(散热片/风扇)或强制水冷(D2C直接芯片冷却)技术。2029年推出的HBM5将采用浸没式冷却,而HBM7和HBM8将使用嵌入式冷却技术,将散热机制直接集成到芯片内部或芯片附近。
在封装技术上,HBM4和HBM5将使用微凸点(MR-MUF)芯片堆叠技术,HBM6至HBM8则采用无凸点铜对铜直接键合技术,以实现更高密度、更好性能和信号完整性。
英伟达的Feynman(F400)加速器计划采用HBM5技术,整个GPU的HBM5容量将达到400-500 GB,预计2028/2029年发布。
2032年的HBM6将采用主动/混合(硅+玻璃)中介层技术,最大堆叠层数从HBM5的16层增至20层,单堆容量可达96-120 GB。
2035年的HBM7将支持最高24层堆叠,容量达160-192 GB,带宽24 TBps,是HBM6的三倍。2038年的HBM8同样支持24层堆叠,带宽提升至64 TBps,容量增至200-240 GB。
HBM8可能采用双面中介层设计,一面安装HBM,另一面可安装HBM、LPDDR内存或HBF(高带宽闪存)。HBF结合了HBM的高带宽特性和3D NAND的大容量优势。其中HBM芯片容量240 GB,LPDDR芯片480 GB,HBF芯片可达1024 GB。
需要注意的是,这只是技术发展路线图,时间越久远确定性越低。最终技术细节还需等待JEDEC发布正式规范后才能确认。
好文章,需要你的鼓励
机器人和自动化工具已成为云环境中最大的安全威胁,网络犯罪分子率先应用自动化决策来窃取凭证和执行恶意活动。自动化攻击显著缩短了攻击者驻留时间,从传统的数天减少到5分钟内即可完成数据泄露。随着大语言模型的发展,"黑客机器人"将变得更加先进。企业面临AI快速采用压力,但多数组织错误地关注模型本身而非基础设施安全。解决方案是将AI工作负载视为普通云工作负载,应用运行时安全最佳实践。
MBZUAI研究团队发布了史上最大的开源数学训练数据集MegaMath,包含3716亿个Token,是现有开源数学数据集的数十倍。该数据集通过创新的数据处理技术,从网页、代码库和AI合成等多个来源收集高质量数学内容。实验显示,使用MegaMath训练的AI模型在数学推理任务上性能显著提升,为AI数学能力发展提供了强大支撑。
面对心理健康专业人士短缺问题,谷歌、麦肯锡和加拿大重大挑战组织联合发布《心理健康与AI现场指南》,提出利用AI辅助任务分担模式。该指南构建了包含项目适应、人员选择、培训、分配、干预和完成六个阶段的任务分担模型,AI可在候选人筛选、培训定制、客户匹配、预约调度和治疗建议等环节发挥作用。该方法通过将部分治疗任务分配给经过培训的非专业人员,并运用AI进行管理支持,有望缓解治疗服务供需失衡问题。
这项由多个知名机构联合开展的研究揭示了AI系统的"隐形思维"——潜在推理。不同于传统的链式思维推理,潜在推理在AI内部连续空间中进行,不受语言表达限制,信息处理能力提升约2700倍。研究将其分为垂直递归和水平递归两类,前者通过重复处理增加思考深度,后者通过状态演化扩展记忆容量。