Quantum 的 Myriad 操作系统现已支持 Nvidia GPUDirect 文件访问功能,可实现 GPU 服务器的快速数据读取。
Myriad 于 2023 年 4 月发布,是一个基于键值存储技术的容器化、统一的、可扩展的文件和对象存储软件栈,专为全闪存 NVMe 介质设计,可管理数万亿级的文件和对象。今年 4 月,Quantum 集成了 Tuxera Fusion File Share IP 以支持服务器消息块 (SMB) 文件访问,通过 SMB Direct RDMA、SMB 横向扩展、SMB 多通道、SMB 见证协议和持久性文件句柄等特性提升了文件服务性能和稳定性。GPUDirect 能够通过 RDMA 从远程 NVME 驱动器直接将数据加载到 GPU 服务器内存中。
此次 Myriad 最新升级增加了并行文件系统客户端,完整支持 GPUDirect 存储功能,并提供即时客户端节点部署能力,支持跨平台兼容性 - 包括采用 Grace Arm 架构的 Nvidia Grace Hopper。这为构建 AI/ML (人工智能/机器学习) 基础设施提供了新方案,使客户能够向 Myriad 集群添加图形处理单元 (GPU) 节点。
Quantum 首席开发官 Jeff Mulder 表示:"新客户端通过在客户端系统上作为完全集成的 GPUDirect 节点运行,带来了独特的功能。与传统依赖其他设备代为执行操作的并行文件系统客户端不同,Myriad 的客户端可以自行执行元数据操作、数据压缩和数据保护操作。这种方法最大限度地减少了常见瓶颈,让客户能够在不同架构中充分利用 GPU 投资,并且随着访问 Myriad 系统的并行客户端数量增加而提升性能。"
Myriad 的并行客户端设计为构建 AI/ML 基础设施提供了新思路,它可以直接安装在配备 GPU 卡的客户服务器或工作站上,将主机工作站转变为可运行的 Myriad GPU 节点。
新客户端针对 GPU 密集型工作负载进行了优化,如 AI/ML 模型训练和推理、高性能计算 (HPC) 可视化和建模以及视频渲染。它的设计目标是最大化 GPU 利用率和性能。
可以随时向 Myriad 集群添加多个客户端节点,这是除 SMB、网络文件系统 (NFS) 和计划中的 S3 访问之外的新连接选项,可以按需添加到任何 Myriad 共享点。
增加的 GPUDirect 支持意味着 Myriad 系统可以与现有支持 GPUDirect 的供应商(如 DDN、IBM、华为、NetApp、Pure Storage、VAST Data 和 WEKA)竞争 AI 训练和推理工作负载。在需要 Nvidia GPU 服务器的 AI/ML 工作负载的新存储招标中,Myriad 将不会被排除在外。
媒体和娱乐客户集成商 CHESA 的首席商务官 Lance Hukill 表示:"在我们的实验室测试后,我们对 Myriad 的性能和功能印象深刻。"
新的 Myriad 并行文件系统客户端将通过 Quantum 的早期访问计划提供评估。现有 Myriad 客户有资格在 2025 年第一季度发布时参与并行文件系统客户端的早期访问计划,该产品将在 2025 年下半年全面上市。可以在此处了解更多关于早期访问计划的信息。
Quantum 表示,其系统集成商网络已准备就绪,可以帮助集成 Myriad 的功能,以满足内容制作需求,如动画/视觉效果 (VFX) 渲染以及大规模富媒体和视频的 AI/ML 处理。
好文章,需要你的鼓励
以色列量子初创公司Qedma完成2600万美元A轮融资,IBM参与投资。该公司专注于量子纠错软件开发,其核心产品QESEM可分析噪声模式并抑制错误,使量子电路在现有硬件上的准确运行规模扩大1000倍。IBM等硬件制造商通过与Qedma等软件公司合作,为银行量化分析师和化学家等终端用户提供更易用的量子计算解决方案。
大连理工大学和浙江大学研究团队提出MoR(Mixture of Reasoning)方法,通过将多种推理策略嵌入AI模型参数中,让AI能自主选择最适合的思考方式,无需人工设计专门提示词。该方法包含思维生成和数据集构建两阶段,实验显示MoR150模型性能显著提升,比基线模型提高2.2%-13.5%,为AI推理能力发展开辟新路径。
印尼科技巨头GoTo正在实施"务实且问题驱动"的AI战略,基于其完成的"最复杂和具有挑战性的云迁移之一"。该公司在九个月内将一半基础设施迁移至阿里云,涉及数万PB数据和9000项服务,实现零停机时间。目前GoTo使用阿里云MaxCompute大数据平台和PolarDB数据库,为其交通、电商和金融服务提供支持,并开发了自有大语言模型Sahabat AI。
剑桥大学研究团队开发了FreNBRDF技术,通过引入频率修正机制显著提升了计算机材质建模的精度。该技术采用球面谐波分析提取材质频率信息,结合自动编码器架构实现高质量材质重建与编辑。实验表明,FreNBRDF在多项指标上超越现有方法,特别在频率一致性方面改善近30倍,为游戏开发、影视制作、电商预览等领域提供了重要技术支撑。