在美光第二代HBM3芯片亮相一个月后, SK海力士正在对一款HBM3E芯片进行采样。
HBM3E是第3代高带宽存储器扩展版,遵循2022年1月推出的HBM3标准。这种存储器是由放置在逻辑模具上方的DIMM芯片堆集构建的,并通过中介器连接到GPU或CPU上。或者,存储芯片可以直接堆叠在GPU上。无论哪种方式,DRAM到GPU/CPU的带宽都高于通过插槽连接到处理器的DRAM的传统X86架构。行业机构JEDEC规定了HBM标准,其HBM3标准于1月发布。现在,在人工智能和机器学习热潮的推动下,供应商们正急于让它过时。
过去一段时间存储市场需求低迷,存储器和NAND供应过剩,如今存储器市场开始出现一些复苏迹象。SK海力士DRAM产品规划主管Sungsoo Ryu表示:“通过增加高价值HBM产品的供应份额,SK海力士也将寻求快速的业务转型。”
HBM世代表。
该公司自称是世界上唯一的HBM3产品“大规模生产商”之一,并计划从明年上半年开始批量生产HBM3E。SK海力士谈到了其为人工智能市场生产的内存,目前由于对ChatGPT型大型语言模型(LLM)的需求而大幅扩大。SK认为LLM处理是内存有限的,并旨在纠正这一点。
SK海力士产品的细节很少,该公司只表示每秒可处理高达1.15 TB的数据,相当于每秒处理230多部5GB大小的全高清电影。美光上个月宣布了一款超过1.2TBps的HBM3第二代产品,这表明SK海力士还有工作要做。
美光的HBM3第2代产品采用8层堆叠,容量为24GB,即将推出36GB容量的12层堆叠版本。SK海力士于4月宣布推出12层堆栈HBM3产品,容量为24GB。
我们怀疑SK海力士的HBM3E产品可能是基于这款容量为24GB的12层堆叠产品开发的,并且可能实现36GB的容量。
SK海力士表示,HMB3E产品与HBM3向下兼容;只要把它放在现有的设计中,系统即可更快运行。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。