希捷日前宣布发布Apache Hadoop on Lustre连接器的相关资料,以兑现其一直以来支持开源社区的承诺。Hadoop on Lustre连接器能提高工作流效率,运行Apache Hadoop任务之前无需将数据复制到Hadoop分布式文件系统(HDFS)。Hadoop on Lustre连接器还为Hadoop对分布式文件系统(HDFS)的依赖性提供了替代方法,让Hadoop系统工具如Mahout、Hive、Pig等也可利用Lustre文件系统。希捷还发布了源代码作为Hadoop的补丁,允许Map 和 Reduce程序共享文件,并启用“无磁盘”Hadoop计算集群,让Hadoop与使用Lustre进行存储的高性能计算(HPC)架构共同运行。在生命科学和能源领域,越来越多的高性能计算(HPC)客户同时将Hadoop 和 Lustre作为数据分析工作流的一部分。Hadoop on Lustre连接器帮助HPC客户简化Hadoop工作流,缩短展现成效的时间。
希捷同时还公布一项协议,将Lustre.org的相关资产转让至开放式可扩展文件系统(OpenSFS)和欧洲开放式文件系统SCE(EOFS)。OpenSFS和EOFS是Lustre分布式文件软件领域的委托管理组织,将携手管理Lustre.org。希捷通过对OpenSFS给予最高“促进者”级别的资金支持并成为活跃的董事成员,兑现其对Lustre的承诺。希捷深度参与OpenSFS和EOFS的各项工作,成为Lustre代码树最大的代码贡献者之一。
希捷云系统和解决方案部门ClusterStor业务副总裁Ken Claffey 表示:“希捷相信,直接参与能够提升核心能力并培养新的应用环境,这对于开源社区尤其是Lustre的发展至关重要。Lustre是科学、政府以及商界领袖获得高性能计算成就的基础。我们与OpenStack Swift、开源计算项目(OCP)、OpenSFS、EOFS以及目前Hadoop的合作仅仅是一个开始,我们将与开源社区通力合作,致力于推动开源创新并研发出整个业界所倚重的尖端科技。”
这是继希捷于今年一月份公布向开源计算项目(OCP)开放以太网硬盘接口规格以及T-Card开发适配器后的又一举措。
好文章,需要你的鼓励
中国AI的一个挑战是:美国算力规模大1-2个数量级,且大量投入下一代Research,中国公司光交付就占据了绝大部分资源。
上海AI实验室联合团队开发RoboVIP系统,通过视觉身份提示技术解决机器人训练数据稀缺问题。该系统能生成多视角、时间连贯的机器人操作视频,利用夹爪状态信号精确识别交互物体,构建百万级视觉身份数据库。实验显示,RoboVIP显著提升机器人在复杂环境中的操作成功率,为机器人智能化发展提供重要技术突破。
人工智能开发商Anthropic为其旗舰聊天机器人Claude推出新的医疗健康功能,用户现在可以与服务共享医疗记录以更好地了解自己的健康状况。Claude可以连接官方医疗记录和苹果健康等健身应用,进行更个性化的健康对话。新功能现已向美国的Claude Pro和Max订阅用户开放。公司强调该工具不用于诊断或治疗建议,而是帮助用户理解复杂医疗报告,为医患沟通做准备,并承诺严格保护用户隐私数据。
英伟达研究团队提出GDPO方法,解决AI多目标训练中的"奖励信号坍缩"问题。该方法通过分别评估各技能再综合考量,避免了传统GRPO方法简单相加导致的信息丢失。在工具调用、数学推理、代码编程三大场景测试中,GDPO均显著优于传统方法,准确率提升最高达6.3%,且训练过程更稳定。该技术已开源并支持主流AI框架。