Quantum 的 Myriad 操作系统现已支持 Nvidia GPUDirect 文件访问功能,可实现 GPU 服务器的快速数据读取。
Myriad 于 2023 年 4 月发布,是一个基于键值存储技术的容器化、统一的、可扩展的文件和对象存储软件栈,专为全闪存 NVMe 介质设计,可管理数万亿级的文件和对象。今年 4 月,Quantum 集成了 Tuxera Fusion File Share IP 以支持服务器消息块 (SMB) 文件访问,通过 SMB Direct RDMA、SMB 横向扩展、SMB 多通道、SMB 见证协议和持久性文件句柄等特性提升了文件服务性能和稳定性。GPUDirect 能够通过 RDMA 从远程 NVME 驱动器直接将数据加载到 GPU 服务器内存中。
此次 Myriad 最新升级增加了并行文件系统客户端,完整支持 GPUDirect 存储功能,并提供即时客户端节点部署能力,支持跨平台兼容性 - 包括采用 Grace Arm 架构的 Nvidia Grace Hopper。这为构建 AI/ML (人工智能/机器学习) 基础设施提供了新方案,使客户能够向 Myriad 集群添加图形处理单元 (GPU) 节点。
Quantum 首席开发官 Jeff Mulder 表示:"新客户端通过在客户端系统上作为完全集成的 GPUDirect 节点运行,带来了独特的功能。与传统依赖其他设备代为执行操作的并行文件系统客户端不同,Myriad 的客户端可以自行执行元数据操作、数据压缩和数据保护操作。这种方法最大限度地减少了常见瓶颈,让客户能够在不同架构中充分利用 GPU 投资,并且随着访问 Myriad 系统的并行客户端数量增加而提升性能。"
Myriad 的并行客户端设计为构建 AI/ML 基础设施提供了新思路,它可以直接安装在配备 GPU 卡的客户服务器或工作站上,将主机工作站转变为可运行的 Myriad GPU 节点。
新客户端针对 GPU 密集型工作负载进行了优化,如 AI/ML 模型训练和推理、高性能计算 (HPC) 可视化和建模以及视频渲染。它的设计目标是最大化 GPU 利用率和性能。
可以随时向 Myriad 集群添加多个客户端节点,这是除 SMB、网络文件系统 (NFS) 和计划中的 S3 访问之外的新连接选项,可以按需添加到任何 Myriad 共享点。
增加的 GPUDirect 支持意味着 Myriad 系统可以与现有支持 GPUDirect 的供应商(如 DDN、IBM、华为、NetApp、Pure Storage、VAST Data 和 WEKA)竞争 AI 训练和推理工作负载。在需要 Nvidia GPU 服务器的 AI/ML 工作负载的新存储招标中,Myriad 将不会被排除在外。
媒体和娱乐客户集成商 CHESA 的首席商务官 Lance Hukill 表示:"在我们的实验室测试后,我们对 Myriad 的性能和功能印象深刻。"
新的 Myriad 并行文件系统客户端将通过 Quantum 的早期访问计划提供评估。现有 Myriad 客户有资格在 2025 年第一季度发布时参与并行文件系统客户端的早期访问计划,该产品将在 2025 年下半年全面上市。可以在此处了解更多关于早期访问计划的信息。
Quantum 表示,其系统集成商网络已准备就绪,可以帮助集成 Myriad 的功能,以满足内容制作需求,如动画/视觉效果 (VFX) 渲染以及大规模富媒体和视频的 AI/ML 处理。
好文章,需要你的鼓励
大数据可观测性初创公司Monte Carlo Data推出全新Agent Observability产品,为AI应用提供全方位数据和AI可观测性。该工具帮助团队检测、分类和修复生产环境中AI应用的可靠性问题,防止代价高昂的"幻觉"现象,避免客户信任度下降和系统宕机。新产品采用大语言模型作为评判器的技术,能够同时监控AI数据输入和输出,提供统一的AI可观测性解决方案。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
网络安全公司Aikido披露了迄今最大规模的npm供应链攻击事件。攻击者通过钓鱼邮件获取维护者账户凭证,向18个热门JavaScript包注入恶意代码,这些包每周下载量超过26亿次。恶意代码专门劫持加密货币交易,监控浏览器API接口将资金转移至攻击者地址。受影响的包括chalk、debug等广泛使用的开发工具库。虽然攻击在5分钟内被发现并及时公开,但专家警告此类上游攻击极具破坏性,可能与朝鲜黑客组织相关。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。