东京工业大学的科学家们设计出一种新型3D DRAM栈,其顶部配有处理器,可提供比高带宽内存(HBM)高出四倍的传输带宽与仅五分之一的访问功耗。
HBM通过中介层将小型DRAM栈接入至CPU,从而避开了受到CPU限制的DRAM插槽数量。在Bumpless Build Cube 3D(简称BBCube3D)概念中,单个DRAM芯片通过微凸块(连接器)与上方或下方的芯片相连,而连接孔(通过硅通孔,即TSV)穿过芯片将各个微凸块连接起来。
研究团队负责人Takayuki Ohba教授表示,“BBCVube 3D拥有良好的性能潜力,可实现每秒1.6 TB理论传输带宽,相当于DDR5的30倍、HBM2E的4倍。”
研究人员们削薄了每个DRAM芯片,同时消除了BBCube3D晶圆叠层(WOW)设计中的微凸块。与DDR5或HBM2E(第二代高带宽扩展内存)设计相比,这种新方案使得内存块拥有更高速度和更低的运行能耗。这是因为前者的运行温度更高,而且凸块的存在会增加电阻/电容和延迟。
HBM微凸块还会占用空间,且芯片的硬度也必须达标,否则无法承受堆叠层合并所带来的压力。通过消除微凸块,每个内存芯片都可以变得更薄、硅通孔更短,从而实现带好的散热效果。BBCube3D设计还不需要中介层,因为处理单元、CPU或GPU能够直接绑定至缓存芯片,而缓存芯片本身又可绑定至DRAM栈的顶端。

研究人员们解释道,“更短的硅通孔互连能够为CPU和GPU等高温设备提供更好的散热……高密度硅通孔本身就可以充当热管,因此即使是在3D结构当中,其预期运行温度也会更低。”
“由于硅通孔长度更短且信号并行度更高”,BBCube“能够实现更高带宽与更低运行功耗”。
通过调整相邻IO线的时序来确保其彼此异相,研究人员还成功减少了分层DRAM中的串扰。这种方法被称为四相屏蔽输入/输出,意味着IO线永远不会与其紧邻的线路同时发生值变化。
下图所示,为BBCube与DDR5和HBM2E内存技术的速度与能耗比较。可以看到,其带宽达到DDR5内存的32倍,速度相当于HBM2E的4倍。与此同时,BBCube 3D设计还实现了比DDR5和HBM2E更低的访问能耗水平。

Ohba解释道,“由于BBCube的热阻和阻抗都更低,所以能够缓解3D集成设计中经常出现的热管理和电源问题。此次提出的新技术能够在达成可观传输带宽的同时,将每bit访问功耗降低至DDR5的二十分之一和HBM2E的五分之一。”
BBCube 3D属于高校主导的研究项目。关于该项目的详细背景信息,可以在MDPI Electronics论文《论使用晶圆上晶圆(WoW)与晶圆上晶片(CoW)实现兆级三维集成(3DI)的BBCube》(https://www.mdpi.com/2079-9292/11/2/236)中找到。论文提到,“BBCube允许将堆叠的芯片数量提升至HBM的4倍,意味着使用16 Gb DRAM裸片时内存容量可以达到64 GB。”
文章同时指出,“通过堆叠40层DRAM,即可实现Tb级别的3D内存。”
论文《Bumpless Build Cube (BBCube) 3D:使用WoW与CoW的异相3D集成实现TB/s级传输带宽与最低bit访问功耗》(Bumpless Build Cube (BBCube) 3D: Heterogeneous 3D Integration Using WoW and CoW to Provide TB/s Bandwidth with Lowest Bit Access Energy)对BBCube 3D概念也做了描述,文章发表于2023年6月的IEEE 2023 VLSI技术与电路研讨会。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。