Volumez 已更新其面向容器化应用的云端块存储配置服务,通过其数据基础设施即服务 (DIaaS) 产品来支持生成式 AI。
该公司表示,其技术可以最大化 GPU 利用率并实现 AI 和机器学习 (ML) 流水线的自动化。现有的数据传输和 AI/ML 基础设施部署流程常常受到存储效率低下、GPU 利用率不足、资源过度配置、系统性能不平衡、成本增加、管理复杂以及工具集成度差等问题的影响,这些都会消耗 AI 团队的带宽并延迟项目进度。
Volumez 的首席产品和业务官 John Blumenthal 在 1 月份硅谷举行的 IT Press Tour 会议上指出,AI/生成式 AI 工作负载需要在密集的基础设施中集中计算和存储能力。这样可以在减少硬件扩张的同时实现可持续性、成本效益和能源优化。
Volumez DIaaS 建立在对云服务提供商基础设施即服务 (IaaS) 产品的深入理解之上,旨在为 AI 工作负载创建均衡的基础设施。这包括基于声明式和组合式 NVMe/TCP 实例的存储基础设施。它使用 Linux 内置服务,且数据路径中没有存储控制器。
背景是像 AWS 和 Azure 这样的公有云出租计算和存储资源,它们并不会主动优化客户如何高效均匀地使用这些资源。Volumez 通过在公有云优化自身资源与客户需求之间的区域运营来盈利,帮助客户从性能、成本和简单运维方面优化这些资源的使用效率。
如图表所示,Volumez 为其块存储提供了比 AWS 实例更好的性价比:
它可以从数据科学家的笔记本电脑上设置 AWS 或 Azure 数据基础设施,将 Volumez 作为 PyTorch 库导入并自动计算存储基础设施需求。
Volumez 表示,MLPerf Storage 基准测试显示其基础设施表现良好。
Blumenthal 表示,AI 工作负载需要在可承受的成本下平衡高容量、高带宽和高性能,他声称 Volumez 可以做到这一点。他表示这提高了 GPU 利用率 - 减少了数据等待时间 - 从而提升了基础设施的训练和推理效率。
好文章,需要你的鼓励
Lumen Technologies对美国网络的数据中心和云连接进行重大升级,在16个高连接城市的70多个第三方数据中心提供高达400Gbps以太网和IP服务。该光纤网络支持客户按需开通服务,几分钟内完成带宽配置,最高可扩展至400Gbps且按使用量付费。升级后的网络能够轻松连接数据中心和云接入点,扩展企业应用,并应对AI和数据密集型需求波动。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
RtBrick研究警告,运营商面临AI和流媒体服务带宽需求"压倒性"风险。调查显示87%运营商预期客户将要求更高宽带速度,但81%承认现有架构无法应对下一波AI和流媒体流量。84%反映客户期望已超越网络能力。尽管91%愿意投资分解式网络,95%计划五年内部署,但仅2%正在实施。主要障碍包括领导层缺乏决策支持、运营转型复杂性和专业技能短缺。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。