Quantum 的 Myriad 操作系统现已支持 Nvidia GPUDirect 文件访问功能,可实现 GPU 服务器的快速数据读取。
Myriad 于 2023 年 4 月发布,是一个基于键值存储技术的容器化、统一的、可扩展的文件和对象存储软件栈,专为全闪存 NVMe 介质设计,可管理数万亿级的文件和对象。今年 4 月,Quantum 集成了 Tuxera Fusion File Share IP 以支持服务器消息块 (SMB) 文件访问,通过 SMB Direct RDMA、SMB 横向扩展、SMB 多通道、SMB 见证协议和持久性文件句柄等特性提升了文件服务性能和稳定性。GPUDirect 能够通过 RDMA 从远程 NVME 驱动器直接将数据加载到 GPU 服务器内存中。
此次 Myriad 最新升级增加了并行文件系统客户端,完整支持 GPUDirect 存储功能,并提供即时客户端节点部署能力,支持跨平台兼容性 - 包括采用 Grace Arm 架构的 Nvidia Grace Hopper。这为构建 AI/ML (人工智能/机器学习) 基础设施提供了新方案,使客户能够向 Myriad 集群添加图形处理单元 (GPU) 节点。
Quantum 首席开发官 Jeff Mulder 表示:"新客户端通过在客户端系统上作为完全集成的 GPUDirect 节点运行,带来了独特的功能。与传统依赖其他设备代为执行操作的并行文件系统客户端不同,Myriad 的客户端可以自行执行元数据操作、数据压缩和数据保护操作。这种方法最大限度地减少了常见瓶颈,让客户能够在不同架构中充分利用 GPU 投资,并且随着访问 Myriad 系统的并行客户端数量增加而提升性能。"
Myriad 的并行客户端设计为构建 AI/ML 基础设施提供了新思路,它可以直接安装在配备 GPU 卡的客户服务器或工作站上,将主机工作站转变为可运行的 Myriad GPU 节点。
新客户端针对 GPU 密集型工作负载进行了优化,如 AI/ML 模型训练和推理、高性能计算 (HPC) 可视化和建模以及视频渲染。它的设计目标是最大化 GPU 利用率和性能。
可以随时向 Myriad 集群添加多个客户端节点,这是除 SMB、网络文件系统 (NFS) 和计划中的 S3 访问之外的新连接选项,可以按需添加到任何 Myriad 共享点。
增加的 GPUDirect 支持意味着 Myriad 系统可以与现有支持 GPUDirect 的供应商(如 DDN、IBM、华为、NetApp、Pure Storage、VAST Data 和 WEKA)竞争 AI 训练和推理工作负载。在需要 Nvidia GPU 服务器的 AI/ML 工作负载的新存储招标中,Myriad 将不会被排除在外。
媒体和娱乐客户集成商 CHESA 的首席商务官 Lance Hukill 表示:"在我们的实验室测试后,我们对 Myriad 的性能和功能印象深刻。"
新的 Myriad 并行文件系统客户端将通过 Quantum 的早期访问计划提供评估。现有 Myriad 客户有资格在 2025 年第一季度发布时参与并行文件系统客户端的早期访问计划,该产品将在 2025 年下半年全面上市。可以在此处了解更多关于早期访问计划的信息。
Quantum 表示,其系统集成商网络已准备就绪,可以帮助集成 Myriad 的功能,以满足内容制作需求,如动画/视觉效果 (VFX) 渲染以及大规模富媒体和视频的 AI/ML 处理。
好文章,需要你的鼓励
清华大学团队突破性开发"零样本量化"技术,让AI模型在不接触真实数据的情况下完成高效压缩,性能反超传统方法1.7%,为隐私保护时代的AI部署开辟新路径。
普林斯顿大学研究团队开发出"LLM经济学家"框架,首次让AI学会为虚拟社会制定税收政策。系统包含基于真实人口数据的工人AI和规划者AI两层,通过自然语言交互找到最优经济政策,甚至能模拟民主投票。实验显示AI制定的税收方案接近理论最优解,为AI参与社会治理提供了新路径。
K Prize是由Databricks和Perplexity联合创始人推出的AI编程挑战赛,首轮比赛结果显示,获胜者巴西工程师Eduardo Rocha de Andrade仅答对7.5%的题目就获得5万美元奖金。该测试基于GitHub真实问题,采用定时提交系统防止针对性训练,与SWE-Bench 75%的最高得分形成鲜明对比。创始人承诺向首个在该测试中得分超过90%的开源模型提供100万美元奖励。
南开大学研究团队提出了一种新的3D高斯泼溅重光照方法,通过在高斯原语上直接编码离散化SDF值,避免了传统方法需要额外SDF网络的问题。该方法设计了投影一致性损失来约束离散SDF样本,并采用球形初始化避免局部最优。实验表明,新方法在保持高质量重光照效果的同时,仅需现有方法20%的显存,显著提升了训练和渲染效率。