Microsoft 研究人员提出了一种名为管理保留内存 (MRM) 的新概念 - 这是一种具有短期持久性的存储级内存 (SCM),专门针对 AI 基础模型工作负载进行 IO 优化。
Microsoft 首席研究软件工程师 Sergey Legtchenko 和其他研究人员在 Arxiv 上发表的论文中描述了 MRM,旨在解决 AI 集群中高带宽内存 (HBM) 的局限性。他们指出,HBM "由于多个原因对 AI 工作负载来说并不理想",它"在写入性能方面过度配置,但在密度和读取带宽方面配置不足,同时每比特能耗显著。由于制造复杂性,其成本也很高,良率低于 DRAM。"
研究人员表示,SCM 方案 - 如英特尔已停产的 Optane 以及潜在的 MRAM、ReRAM 或 PCM (相变存储器) 替代方案 - 都假定在内存 (需要持续供电刷新以保留数据的易失性 DRAM) 和存储 (长期保存数据,以年计) 之间存在明显的界限。
他们说:"这些技术传统上提供长期持久性 (10 年以上),但 IO 性能和/或耐久性较差。" 例如:"闪存单元的保留时间超过 10 年,但这是以牺牲每个存储单元的读写吞吐量为代价的,相比 DRAM 要低。这些特性意味着 DRAM 用作处理器的内存,而闪存用于二级存储。"
但从保留时间来看,这种界限实际上不必如此明显。保留时间存在一个从零到数十年甚至更长的连续谱。DRAM 在需要刷新之前确实会短暂保留数据。研究人员写道:"非易失性是存储设备的一个关键属性,但在存储单元层面上这个概念其实具有误导性。对所有技术而言,存储单元只是提供一个保留时间,这是一个从 DRAM 的微秒到多年的连续体。"
通过默认支持这种明显的内存-存储分界概念,"支撑 SCM 的技术被迫要实现非易失性,要求其保留时间达到十年或更长。不幸的是,实现这种高保留时间需要在写入和读取延迟、能源效率和耐久性等其他指标上做出权衡。"
对于像推理这样的 AI 工作负载来说,具有非易失性的通用 SCM 是不必要的。这类工作负载需要高性能的模型权重和 KV 缓存数据顺序读取,但写入性能要求较低。由于此类工作负载规模巨大,需要一个新的内存类别,因为 HBM 的每比特读取能耗太高,而且"成本高昂,良率挑战显著"。
Microsoft 研究人员表示,他们理论上的 MRM "与易失性 DRAM 不同,它可以在断电时保留数据,且不会在频繁的单元刷新中浪费能量,但与 SCM 不同,它并不针对长期保留时间。由于大多数推理数据无需长期保存,保留时间可以放宽到几天或几小时。作为回报,MRM 具有更好的耐久性,并致力于在读取吞吐量、能源效率和容量等关键指标上超越 DRAM (和 HBM)。"
他们指出:"由于 IO 是大规模且顺序的,因此不需要字节寻址",这表明块寻址结构就足够了。
研究人员正在理论上定义一个新的内存类别,表示在内存-存储层次结构中存在一个特定于 AI 基础模型的空白,可以用适当的半导体技术来填补。这"为这一应用领域开启了更好内存的计算机架构研究领域。"
论文中的图表"显示了现有内存/存储技术的耐久性与工作负载耐久性要求之间的比较。在适用的情况下,我们区分了现有设备中观察到的耐久性和技术所展示的潜力。"耐久性是指可以持续进行写入循环的时间长度。"HBM 在耐久性方面过度配置,而现有的 SCM 设备虽然不能满足耐久性要求,但底层技术具有实现这一目标的潜力。"
Microsoft 研究人员表示:"我们明确不局限于特定技术,而是强调一个机会空间。这是对从研究底层存储单元技术的人员,到思考内存控制器的人员,再到设计访问内存的软件系统的人员的行动召唤。为 AI 时代更好的内存而展开跨层级协作。"
他们总结道:"我们提出了一种可以与 HBM 共存的新型内存类别 - 管理保留内存 (MRM),它能够利用最初为 SCM 提出的内存技术,但通过权衡保留时间和写入吞吐量等指标,来改善这些 AI 工作负载所需的关键性能指标。通过放宽保留时间要求,MRM 有可能让现有提出的 SCM 技术提供更好的读取吞吐量、能源效率和密度。我们希望这篇论文能够真正开启对存储单元技术和内存芯片设计创新的新思维,专门针对 AI 推理集群的需求。"
好文章,需要你的鼓励
串流技术正打破传统游戏边界,让"即点即玩"的畅快体验触手可及,不仅重塑了玩家的游戏方式,更将引领整个产业迈向云端加速迈进。
高通宣布收购越南 AI 研究公司 VinAI 的生成式 AI 部门,金额未披露。这标志着高通持续扩张 AI 工具领域。VinAI 由前 DeepMind 研究科学家 Hung Bui 创立,开发多种生成式 AI 技术。此次收购将增强高通在 AI 解决方案方面的能力,有望为多个行业和消费者带来创新。
GameForge AI 是一款基于人工智能的游戏开发平台,可帮助用户轻松创建自己的游戏世界。本文介绍了 GameForge AI 的功能和使用方法,包括创建角色、场景和任务等。虽然 AI 生成速度较慢,但平台对游戏设计师、桌游爱好者和学生等用户都很有吸引力。与其他 AI 创作工具相比,GameForge AI 更注重构建复杂的叙事驱动型世界。
Anthropic 推出面向高等教育的 Claude for Education 计划,与 OpenAI 的 ChatGPT Edu 计划形成竞争。该计划为学生、教职员工提供 AI 聊天机器人 Claude 的访问权限,并增加了一些新功能。新功能包括"学习模式",旨在培养学生的批判性思维能力。Anthropic 已与多所大学达成合作,希望通过这一计划扩大在教育领域的影响力。