希捷日前宣布发布Apache Hadoop on Lustre连接器的相关资料,以兑现其一直以来支持开源社区的承诺。Hadoop on Lustre连接器能提高工作流效率,运行Apache Hadoop任务之前无需将数据复制到Hadoop分布式文件系统(HDFS)。Hadoop on Lustre连接器还为Hadoop对分布式文件系统(HDFS)的依赖性提供了替代方法,让Hadoop系统工具如Mahout、Hive、Pig等也可利用Lustre文件系统。希捷还发布了源代码作为Hadoop的补丁,允许Map 和 Reduce程序共享文件,并启用“无磁盘”Hadoop计算集群,让Hadoop与使用Lustre进行存储的高性能计算(HPC)架构共同运行。在生命科学和能源领域,越来越多的高性能计算(HPC)客户同时将Hadoop 和 Lustre作为数据分析工作流的一部分。Hadoop on Lustre连接器帮助HPC客户简化Hadoop工作流,缩短展现成效的时间。
希捷同时还公布一项协议,将Lustre.org的相关资产转让至开放式可扩展文件系统(OpenSFS)和欧洲开放式文件系统SCE(EOFS)。OpenSFS和EOFS是Lustre分布式文件软件领域的委托管理组织,将携手管理Lustre.org。希捷通过对OpenSFS给予最高“促进者”级别的资金支持并成为活跃的董事成员,兑现其对Lustre的承诺。希捷深度参与OpenSFS和EOFS的各项工作,成为Lustre代码树最大的代码贡献者之一。
希捷云系统和解决方案部门ClusterStor业务副总裁Ken Claffey 表示:“希捷相信,直接参与能够提升核心能力并培养新的应用环境,这对于开源社区尤其是Lustre的发展至关重要。Lustre是科学、政府以及商界领袖获得高性能计算成就的基础。我们与OpenStack Swift、开源计算项目(OCP)、OpenSFS、EOFS以及目前Hadoop的合作仅仅是一个开始,我们将与开源社区通力合作,致力于推动开源创新并研发出整个业界所倚重的尖端科技。”
这是继希捷于今年一月份公布向开源计算项目(OCP)开放以太网硬盘接口规格以及T-Card开发适配器后的又一举措。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。