华为深耕Apache社区 CarbonData成为首个中国公司贡献的顶级项目

Apache软件基金会宣布,华为贡献给Apache社区的开源项目CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP)。Apache® CarbonData™也成为首个由中国公司贡献给Apache基金会,并成为顶级项目的开源项目。

Apache软件基金会宣布,华为贡献给Apache社区的开源项目CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP)。Apache® CarbonData™也成为首个由中国公司贡献给Apache基金会,并成为顶级项目的开源项目。

随着数字化时代的到来,企业生产和应用的数据与日俱增,业务驱动下的数据分析灵活性要求也越来越高。但是,企业不同场景下的数据分业务系统而构建,不同的业务场景使用不同的数据存储格式。这种数据存储方式导致数据冗余严重,同时也阻碍了企业的数字化转型。因此,企业在建设大数据平台时,希望能够建设统一数据存储,用一份数据支持多种使用场景,从而减少数据孤岛和冗余,通过数据共享产生更大价值。同时,这种数据存储还需要满足高效、易集成、易开发、易扩展以及开放性生态等需求。

华为FusionInsight大数据产品团队针对用户的诉求,从2013年开始调研分析业界大数据方案,发现每种技术都只能解决某种场景的诉求,不能同时满足上述的所有诉求。于是,华为FusionInsight大数据产品团队开发了CarbonData项目,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持"交互式分析、详单查询、任意维度组合的过滤查询等"多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Apache Hadoop、Apache Spark等无缝集成。

Apache CarbonData主要有下面一些特点:

列式存储:高效的列式数据组织,可以实现列裁剪和过滤下压,使OLAP查询性能更高。同时,CarbonData针对明细数据查询实现了深度优化,在需要返回所有列的场景下性能优于其他列存方案。

丰富的索引支持:支持全局多维索引、文件索引、Min/Max、倒排索引等多种索引技术,从表级,文件级,列级等多个层级逐级快速定位数据,大幅提升性能。

全局字典编码:除了常见的Delta、RLE、BitPacking等编码外,CarbonData应用了全局字典编码来实现免解码的计算,计算框架可以直接使用经过编码的数据来做聚合,排序等计算,这对需要做跨节点数据交换的业务来说性能提升非常明显(3倍以上)。

自适应类型转换:CarbonData针对分析型应用中大量使用的数值类型(Double/Decimal/Numeric/BigInt)实现存储内数据类型转换,配合列式数据压缩,使得压缩非常高效,数据压缩率基于应用场景不同一般压缩比在2到8之间。

标准SQL和API:在SparkSQL基础上,支持标准SQL99/2003;支持数据批量更新、删除,适用于OLAP场景下数据的周期性刷新,例如拉链表更新、维表数据同步。提供JDBC/ODBC连接,支持与BI工具无缝对接;兼容Spark DataFrame/DataSet,支持复杂分析应用。

数据生态集成:支持与Hadoop、Spark等大数据生态系统集成,支持和商业BI工具无缝对接。既满足传统数仓、数据集市、BI应用要求,也提供大数据生态丰富多样的API支持,覆盖从GB级到EB级应用。

基于华为"源于开源、强于开源、回馈开源"的战略,华为FusionInsight大数据团队开发出CarbonData后,就积极向社区进行回馈。2015年,华为向社区贡献了CarbonData的代码;2016年6月,CarbonData全票通过进入Apache孵化器;2017年4月,经过来自华为、Intel、Talend、eBay、Inmobi、Knoldus、Habib Bank、交通银行、上汽、携程、丁香园、阿里、美团、乐视、滴滴等公司资深架构师和开发人员的努力,CarbonData经过不到一年的时间,毕业成为Apache顶级项目。这标志着CarbonData项目完全依照Apache way开源方式运作,并完成社区多样化工作。而对华为公司FusionInsight大数据团队而言,这标志着华为对Apache开源社区,不仅能够贡献代码和提案,也能够贡献顶级开源项目,华为对Apache社区的开源贡献,已经跨入了一个新的高度。这也是华为"源于开源、强于开源、回馈开源"战略的成功实践。

来源:ZD至顶网存储频道

0赞

好文章,需要你的鼓励

2017

04/24

12:20

分享

点赞

邮件订阅
白皮书