Apache软件基金会宣布,华为贡献给Apache社区的开源项目CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP)。Apache® CarbonData™也成为首个由中国公司贡献给Apache基金会,并成为顶级项目的开源项目。
随着数字化时代的到来,企业生产和应用的数据与日俱增,业务驱动下的数据分析灵活性要求也越来越高。但是,企业不同场景下的数据分业务系统而构建,不同的业务场景使用不同的数据存储格式。这种数据存储方式导致数据冗余严重,同时也阻碍了企业的数字化转型。因此,企业在建设大数据平台时,希望能够建设统一数据存储,用一份数据支持多种使用场景,从而减少数据孤岛和冗余,通过数据共享产生更大价值。同时,这种数据存储还需要满足高效、易集成、易开发、易扩展以及开放性生态等需求。
华为FusionInsight大数据产品团队针对用户的诉求,从2013年开始调研分析业界大数据方案,发现每种技术都只能解决某种场景的诉求,不能同时满足上述的所有诉求。于是,华为FusionInsight大数据产品团队开发了CarbonData项目,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持"交互式分析、详单查询、任意维度组合的过滤查询等"多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Apache Hadoop、Apache Spark等无缝集成。
Apache CarbonData主要有下面一些特点:
列式存储:高效的列式数据组织,可以实现列裁剪和过滤下压,使OLAP查询性能更高。同时,CarbonData针对明细数据查询实现了深度优化,在需要返回所有列的场景下性能优于其他列存方案。
丰富的索引支持:支持全局多维索引、文件索引、Min/Max、倒排索引等多种索引技术,从表级,文件级,列级等多个层级逐级快速定位数据,大幅提升性能。
全局字典编码:除了常见的Delta、RLE、BitPacking等编码外,CarbonData应用了全局字典编码来实现免解码的计算,计算框架可以直接使用经过编码的数据来做聚合,排序等计算,这对需要做跨节点数据交换的业务来说性能提升非常明显(3倍以上)。
自适应类型转换:CarbonData针对分析型应用中大量使用的数值类型(Double/Decimal/Numeric/BigInt)实现存储内数据类型转换,配合列式数据压缩,使得压缩非常高效,数据压缩率基于应用场景不同一般压缩比在2到8之间。
标准SQL和API:在SparkSQL基础上,支持标准SQL99/2003;支持数据批量更新、删除,适用于OLAP场景下数据的周期性刷新,例如拉链表更新、维表数据同步。提供JDBC/ODBC连接,支持与BI工具无缝对接;兼容Spark DataFrame/DataSet,支持复杂分析应用。
数据生态集成:支持与Hadoop、Spark等大数据生态系统集成,支持和商业BI工具无缝对接。既满足传统数仓、数据集市、BI应用要求,也提供大数据生态丰富多样的API支持,覆盖从GB级到EB级应用。
基于华为"源于开源、强于开源、回馈开源"的战略,华为FusionInsight大数据团队开发出CarbonData后,就积极向社区进行回馈。2015年,华为向社区贡献了CarbonData的代码;2016年6月,CarbonData全票通过进入Apache孵化器;2017年4月,经过来自华为、Intel、Talend、eBay、Inmobi、Knoldus、Habib Bank、交通银行、上汽、携程、丁香园、阿里、美团、乐视、滴滴等公司资深架构师和开发人员的努力,CarbonData经过不到一年的时间,毕业成为Apache顶级项目。这标志着CarbonData项目完全依照Apache way开源方式运作,并完成社区多样化工作。而对华为公司FusionInsight大数据团队而言,这标志着华为对Apache开源社区,不仅能够贡献代码和提案,也能够贡献顶级开源项目,华为对Apache社区的开源贡献,已经跨入了一个新的高度。这也是华为"源于开源、强于开源、回馈开源"战略的成功实践。
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。