希捷公司与ZeroPoint Technologies在加利福尼亚州圣何塞举行的OCP全球峰会上,展示了CXL内存层中的硬件加速压缩技术。
作为磁盘驱动器供应商的希捷,如何在计算快速链路(CXL)内存层中利用ZeroPoint的硬件加速内存压缩技术?该公司是否设想在控制器中配备CXL内存层的JBOD机箱,装满Exos磁盘驱动器?
事实证明,希捷正在开发可组合内存设备(CME),并在OCP峰会上举办了多头可组合内存设备下一代会议。据了解,这指的是一个机架式CMA设备,同时连接并支持多个访问端点,使用CXL内存技术。
希捷为其CMA设备开发了可组合结构管理器(CFM),代码可在Github上获得。该管理器"为与可组合内存设备交互提供客户端接口。它为客户端提供北侧(前端)OpenAPI接口,为管理可用的可组合内存设备(CMA)和CXL主机提供南侧(后端)Redfish接口。"
由希捷员工撰写的可组合内存结构管理软件和API架构文档可在OCP网站上获得。该文档"定义了管理基于OCP兼容可组合内存设备支持的可组合内存结构系统所使用的最小API。"CMA是"基于CXL技术的可扩展内存设备。"
文档指出:"内存设备包含多个内存刀片,每个刀片可以单独连接到多个CXL主机服务器。"据了解,CMA充当CXL Type 3内存扩展器,允许连接的服务器通过CXL结构访问共享的可扩展内存资源,而不是仅依赖本地DRAM。
ZeroPoint DenseMem技术用于创建压缩内存层,将容量提升1.85倍至2.25倍,从而降低DRAM成本。
该文档没有指明内存刀片连接的持久存储设备,无论是希捷Nytro固态硬盘还是Exos机械硬盘。我们已向希捷询问相关信息。
ZeroPoint表示,其DenseMem技术"通过透明的内联内存压缩/解压缩,将有效的CXL Type 3设备内存容量提高2-3倍,对延迟和带宽的影响最小。DenseMem作为面积和功耗高效的拖放IP模块提供,可跨最新工艺节点移植。"
换句话说,它被集成到CMA设备控制器芯片中。
DenseMem可以集成到CXL Type 3设备的系统级芯片中,位于CXL控制器和内存控制器逻辑块之间。它提供在CXL Type 3设备内自动实例化的压缩内存层,具有实时压缩/解压缩与压实功能,以及透明内存管理。操作以主内存速度和吞吐量进行。
据我们了解,外部JBOF目前通过NVMe和RDMA向GPU服务器发送数据。通过使用这种CMA技术,希捷JBOF或JBOD可以使用CXL内存池化和共享与其通信,这将具有更低的延迟。通过使用多个CMA设备可以提高带宽。
我们假设,从CMA的持久存储将数据加载到其CXL内存中实际上是缓存,大型项目在驱动器间分片以在此级别提高带宽。
Q&A
Q1:希捷的可组合内存设备(CMA)是什么?
A:CMA是希捷开发的基于CXL技术的可扩展内存设备,它是一个机架式设备,可以同时连接并支持多个访问端点。CMA充当CXL Type 3内存扩展器,允许连接的服务器通过CXL结构访问共享的可扩展内存资源,而不是仅依赖本地DRAM。
Q2:ZeroPoint DenseMem技术有什么作用?
A:DenseMem技术通过透明的内联内存压缩/解压缩,将有效的CXL Type 3设备内存容量提高2-3倍,对延迟和带宽的影响最小。它可以集成到CXL Type 3设备的系统级芯片中,提供实时压缩/解压缩与压实功能,以及透明内存管理。
Q3:CMA技术相比传统JBOF有什么优势?
A:传统的外部JBOF通过NVMe和RDMA向GPU服务器发送数据,而使用CMA技术的希捷JBOF或JBOD可以使用CXL内存池化和共享进行通信,具有更低的延迟。通过使用多个CMA设备还可以提高带宽。
好文章,需要你的鼓励
无人机食品配送服务商Flytrex与全球知名披萨连锁品牌Little Caesars宣布合作,推出全新Sky2无人机,最大载重达4公斤,可一次配送两个大披萨及饮料,满足全家用餐需求。Sky2支持最远6.4公里的配送范围,平均从起飞到送达仅需4.5分钟。首个试点门店已在德克萨斯州怀利市上线,并实现与Little Caesars订单系统的直接集成。
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
法国社会住房项目ViliaSprint?已正式完工,成为欧洲最大的3D打印多户住宅建筑,共12套公寓,建筑面积800平方米。项目由PERI 3D Construction使用COBOD BOD2打印机完成,整体工期较传统建造缩短3个月,实际打印仅用34天(原计划50天),现场操作人员从6人减至3人,建筑废料率从10%降至5%。建筑采用可打印混凝土,集成光伏板及热泵系统,能源自给率约达60%。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。