近日,Apache软件基金会宣布,华为贡献给Apache社区的开源项目CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP),这意味着华为从大数据开源社区的参与者变成了社区和生态的引领者之一。
CarbonData是一种大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持多种大数据应用场景,并与Apache社区的Hadoop、Spark等组件实现无缝集成。
华为从2013年开始研究CarbonData解决方案,并在2015年将该方案开源贡献给Apache社区。2016年6月,CarbonData全票通过进入Apache孵化器;2017年4月,经过来自华为、英特尔、Talend、交通银行、上汽、携程等众多公司资深架构师和开发人员的努力,CarbonData经过不到一年的时间,毕业成为Apache社区顶级项目。这标志着CarbonData成为大数据生态的标准数据格式之一,也标志着华为不仅能够参与Apache大数据开源代码贡献,且能够主导一个顶级开源项目。同时,这也是华为"源于开源、强于开源、回馈开源"战略的又一次成功实践。
基于华为公司对Apache开源社区核心技术的掌握,华为FusionInsight大数据平台成为了众多客户的优选合作伙伴。截止目前,华为FusionInsight大数据平台已经服务于全球40多个国家和地区的700多家客户,广泛应用于金融、政府、公共安全、运营商、教育、能源、交通、医疗等多个行业。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。