希捷日前宣布发布Apache Hadoop on Lustre连接器的相关资料,以兑现其一直以来支持开源社区的承诺。Hadoop on Lustre连接器能提高工作流效率,运行Apache Hadoop任务之前无需将数据复制到Hadoop分布式文件系统(HDFS)。Hadoop on Lustre连接器还为Hadoop对分布式文件系统(HDFS)的依赖性提供了替代方法,让Hadoop系统工具如Mahout、Hive、Pig等也可利用Lustre文件系统。希捷还发布了源代码作为Hadoop的补丁,允许Map 和 Reduce程序共享文件,并启用“无磁盘”Hadoop计算集群,让Hadoop与使用Lustre进行存储的高性能计算(HPC)架构共同运行。在生命科学和能源领域,越来越多的高性能计算(HPC)客户同时将Hadoop 和 Lustre作为数据分析工作流的一部分。Hadoop on Lustre连接器帮助HPC客户简化Hadoop工作流,缩短展现成效的时间。
希捷同时还公布一项协议,将Lustre.org的相关资产转让至开放式可扩展文件系统(OpenSFS)和欧洲开放式文件系统SCE(EOFS)。OpenSFS和EOFS是Lustre分布式文件软件领域的委托管理组织,将携手管理Lustre.org。希捷通过对OpenSFS给予最高“促进者”级别的资金支持并成为活跃的董事成员,兑现其对Lustre的承诺。希捷深度参与OpenSFS和EOFS的各项工作,成为Lustre代码树最大的代码贡献者之一。
希捷云系统和解决方案部门ClusterStor业务副总裁Ken Claffey 表示:“希捷相信,直接参与能够提升核心能力并培养新的应用环境,这对于开源社区尤其是Lustre的发展至关重要。Lustre是科学、政府以及商界领袖获得高性能计算成就的基础。我们与OpenStack Swift、开源计算项目(OCP)、OpenSFS、EOFS以及目前Hadoop的合作仅仅是一个开始,我们将与开源社区通力合作,致力于推动开源创新并研发出整个业界所倚重的尖端科技。”
这是继希捷于今年一月份公布向开源计算项目(OCP)开放以太网硬盘接口规格以及T-Card开发适配器后的又一举措。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。