希捷公司与ZeroPoint Technologies在加利福尼亚州圣何塞举行的OCP全球峰会上,展示了CXL内存层中的硬件加速压缩技术。
作为磁盘驱动器供应商的希捷,如何在计算快速链路(CXL)内存层中利用ZeroPoint的硬件加速内存压缩技术?该公司是否设想在控制器中配备CXL内存层的JBOD机箱,装满Exos磁盘驱动器?
事实证明,希捷正在开发可组合内存设备(CME),并在OCP峰会上举办了多头可组合内存设备下一代会议。据了解,这指的是一个机架式CMA设备,同时连接并支持多个访问端点,使用CXL内存技术。
希捷为其CMA设备开发了可组合结构管理器(CFM),代码可在Github上获得。该管理器"为与可组合内存设备交互提供客户端接口。它为客户端提供北侧(前端)OpenAPI接口,为管理可用的可组合内存设备(CMA)和CXL主机提供南侧(后端)Redfish接口。"
由希捷员工撰写的可组合内存结构管理软件和API架构文档可在OCP网站上获得。该文档"定义了管理基于OCP兼容可组合内存设备支持的可组合内存结构系统所使用的最小API。"CMA是"基于CXL技术的可扩展内存设备。"
文档指出:"内存设备包含多个内存刀片,每个刀片可以单独连接到多个CXL主机服务器。"据了解,CMA充当CXL Type 3内存扩展器,允许连接的服务器通过CXL结构访问共享的可扩展内存资源,而不是仅依赖本地DRAM。
ZeroPoint DenseMem技术用于创建压缩内存层,将容量提升1.85倍至2.25倍,从而降低DRAM成本。
该文档没有指明内存刀片连接的持久存储设备,无论是希捷Nytro固态硬盘还是Exos机械硬盘。我们已向希捷询问相关信息。
ZeroPoint表示,其DenseMem技术"通过透明的内联内存压缩/解压缩,将有效的CXL Type 3设备内存容量提高2-3倍,对延迟和带宽的影响最小。DenseMem作为面积和功耗高效的拖放IP模块提供,可跨最新工艺节点移植。"
换句话说,它被集成到CMA设备控制器芯片中。
DenseMem可以集成到CXL Type 3设备的系统级芯片中,位于CXL控制器和内存控制器逻辑块之间。它提供在CXL Type 3设备内自动实例化的压缩内存层,具有实时压缩/解压缩与压实功能,以及透明内存管理。操作以主内存速度和吞吐量进行。
据我们了解,外部JBOF目前通过NVMe和RDMA向GPU服务器发送数据。通过使用这种CMA技术,希捷JBOF或JBOD可以使用CXL内存池化和共享与其通信,这将具有更低的延迟。通过使用多个CMA设备可以提高带宽。
我们假设,从CMA的持久存储将数据加载到其CXL内存中实际上是缓存,大型项目在驱动器间分片以在此级别提高带宽。
Q&A
Q1:希捷的可组合内存设备(CMA)是什么?
A:CMA是希捷开发的基于CXL技术的可扩展内存设备,它是一个机架式设备,可以同时连接并支持多个访问端点。CMA充当CXL Type 3内存扩展器,允许连接的服务器通过CXL结构访问共享的可扩展内存资源,而不是仅依赖本地DRAM。
Q2:ZeroPoint DenseMem技术有什么作用?
A:DenseMem技术通过透明的内联内存压缩/解压缩,将有效的CXL Type 3设备内存容量提高2-3倍,对延迟和带宽的影响最小。它可以集成到CXL Type 3设备的系统级芯片中,提供实时压缩/解压缩与压实功能,以及透明内存管理。
Q3:CMA技术相比传统JBOF有什么优势?
A:传统的外部JBOF通过NVMe和RDMA向GPU服务器发送数据,而使用CMA技术的希捷JBOF或JBOD可以使用CXL内存池化和共享进行通信,具有更低的延迟。通过使用多个CMA设备还可以提高带宽。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。