但截至目前,将存储与计算相融合的技术尚未大范围流行。
NVM Express联盟日前更新规范,希望引入计算存储功能以建立新的标准化方式,在应用程序与包含特定处理功能的存储设备之间建立通信机制。
NVM Express(下文简称「该组织」)负责监督通过主机PCIe总线使用固态硬盘(SSD)的NVMe规范,而新加入的计算存储功能将进一步扩展规范以支持NVMe计算存储设备。
此番支持涵盖两套新的NVMe命令集:其一用于计算程序,其二用于子系统本地内存命令。两套命令集现在均可从NVM Express官方网站处下载。
其中计算程序命令集将使NVMe设备能够对NVM子系统中的数据执行操作,使用各项命令管理设备上的计算活动。
另一方面,子系统本地内存命令则允许通过NVMe I/O命令访问NVM子系统中的本地内存,可通过各项命令实现用户数据读取/写入以及将用户数据复制到设备本地内存等操作。
计算存储技术的核心,在于将计算与存储紧密耦合的新型架构。这种架构的优势,主要在于将处理能力嵌入至SSD等存储设备以减少数据移动需求。如此一来,数据库和AI处理等延迟关键型应用的响应速度将显著提升。
NVMe计算存储任务组联席主席Bill Martin在回应采访的声明中表示,“NVM Express计算存储是我们向企业和超大规模数据中心伸出援手,满足存储行业不断变化的现实需求的重要举措。”Martin本人还担任三星电子负责SSD IO标准的首席工程师。
“计算存储是一种标准化方法,将建立起开放且可互操作的生态系统。通过将计算任务移交至存储设备,我们预计相关行业的总体拥有成本将有所降低、整体性能也将随之提升。”
三星是目前制造计算存储驱动器(产品名称为SmartSSD)的参与厂商之一。
在与英特尔存储软件架构师Kim Malone共同撰写的博文中,Martin解释了数据集规模的增加如何在网络带宽用量、主机内存和CPU利用率等层面引发性能瓶颈。而计算存储技术又如何经由NVMe设备将部分数据处理任务从主机上转移出来,有效解决这个问题。
博文指出,“通过减少计算过程中所需的数据传输量,系统能够为关键数据应用提供更快的响应速度。”
“此外,通过将计算任务转移至NVMe设备,计算存储技术还有助于释放整个系统的架构利用率,降低数据中心环境的总体拥有成本。”
但根据技术媒体Blocks & Files最近的报道,计算存储技术截至目前并未得到市场的广泛接纳。而其中一大原因,就是与系统主机处理器(通常是FPGA或者少量Arm核心)相比,存储设备中嵌入的计算容量太过孱弱。
计算存储SSD的典型应用,往往侧重于承担压缩/解压缩、纠删码以及加速数据库等场景下的键值操作。
目前还不清楚新的NVM Express规范能否或者如何与存储网络行业协会(SNIA)定义的计算存储架构与编程模型相兼容。
不到一年之前,SNIA刚刚发布上述规范的1.0版本。文件定义了相关概念,旨在为应用程序提供通用编程模型,用以发现并使用附加至计算机系统的一切计算存储资源。
好文章,需要你的鼓励
一个目标是让来自不同组织的 AI 代理能够自由无缝地相互交流。但要实现这一点,需要实现互操作性,而这些代理可能是使用不同的 LLM、数据框架和代码构建的。为了实现互操作性,这些代理的开发者必须就如何相互通信达成一致。这是一项具有挑战性的任务。
周四,法国大型语言模型(LLM)开发商Mistral推出了一款新API,专为处理复杂PDF文档的开发者设计。Mistral OCR是一种光学字符识别(OCR)API,可以将任何PDF转换为文本文件,以便AI模型更容易地进行处理。
Google 正在测试一种全新的 AI 搜索模式,将搜索引擎转变为由 Gemini 2.0 驱动的定制聊天机器人界面。用户可以通过这个界面提问、获取答案,并深入探讨特定主题。这一模式目前作为小规模实验推出,但可能预示着 Google 搜索的未来发展方向:一种以 AI 为主导的搜索体验,可能会改变信息呈现和获取的方式。
随着科技巨头投入巨资建设新数据中心,如何在满足持续计算需求的同时保证能源系统可靠性和可持续性成为行业挑战。微电网作为潜在解决方案,可集成可再生能源、优化用电、提高电力稳定性,并在高峰期减少对电网依赖。它能够增强数据中心的弹性、实现成本效益的能源管理,并助力实现可持续发展目标。