Quantum 的 Myriad 操作系统现已支持 Nvidia GPUDirect 文件访问功能,可实现 GPU 服务器的快速数据读取。
Myriad 于 2023 年 4 月发布,是一个基于键值存储技术的容器化、统一的、可扩展的文件和对象存储软件栈,专为全闪存 NVMe 介质设计,可管理数万亿级的文件和对象。今年 4 月,Quantum 集成了 Tuxera Fusion File Share IP 以支持服务器消息块 (SMB) 文件访问,通过 SMB Direct RDMA、SMB 横向扩展、SMB 多通道、SMB 见证协议和持久性文件句柄等特性提升了文件服务性能和稳定性。GPUDirect 能够通过 RDMA 从远程 NVME 驱动器直接将数据加载到 GPU 服务器内存中。
此次 Myriad 最新升级增加了并行文件系统客户端,完整支持 GPUDirect 存储功能,并提供即时客户端节点部署能力,支持跨平台兼容性 - 包括采用 Grace Arm 架构的 Nvidia Grace Hopper。这为构建 AI/ML (人工智能/机器学习) 基础设施提供了新方案,使客户能够向 Myriad 集群添加图形处理单元 (GPU) 节点。
Quantum 首席开发官 Jeff Mulder 表示:"新客户端通过在客户端系统上作为完全集成的 GPUDirect 节点运行,带来了独特的功能。与传统依赖其他设备代为执行操作的并行文件系统客户端不同,Myriad 的客户端可以自行执行元数据操作、数据压缩和数据保护操作。这种方法最大限度地减少了常见瓶颈,让客户能够在不同架构中充分利用 GPU 投资,并且随着访问 Myriad 系统的并行客户端数量增加而提升性能。"
Myriad 的并行客户端设计为构建 AI/ML 基础设施提供了新思路,它可以直接安装在配备 GPU 卡的客户服务器或工作站上,将主机工作站转变为可运行的 Myriad GPU 节点。
新客户端针对 GPU 密集型工作负载进行了优化,如 AI/ML 模型训练和推理、高性能计算 (HPC) 可视化和建模以及视频渲染。它的设计目标是最大化 GPU 利用率和性能。
可以随时向 Myriad 集群添加多个客户端节点,这是除 SMB、网络文件系统 (NFS) 和计划中的 S3 访问之外的新连接选项,可以按需添加到任何 Myriad 共享点。
增加的 GPUDirect 支持意味着 Myriad 系统可以与现有支持 GPUDirect 的供应商(如 DDN、IBM、华为、NetApp、Pure Storage、VAST Data 和 WEKA)竞争 AI 训练和推理工作负载。在需要 Nvidia GPU 服务器的 AI/ML 工作负载的新存储招标中,Myriad 将不会被排除在外。
媒体和娱乐客户集成商 CHESA 的首席商务官 Lance Hukill 表示:"在我们的实验室测试后,我们对 Myriad 的性能和功能印象深刻。"
新的 Myriad 并行文件系统客户端将通过 Quantum 的早期访问计划提供评估。现有 Myriad 客户有资格在 2025 年第一季度发布时参与并行文件系统客户端的早期访问计划,该产品将在 2025 年下半年全面上市。可以在此处了解更多关于早期访问计划的信息。
Quantum 表示,其系统集成商网络已准备就绪,可以帮助集成 Myriad 的功能,以满足内容制作需求,如动画/视觉效果 (VFX) 渲染以及大规模富媒体和视频的 AI/ML 处理。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。