ZOL论坛 > 技术论坛 > 大数据小视角:CarbonData,来自华为的中国力量
帖子很冷清,卤煮很失落!求安慰
返回列表
签到
手机签到经验翻倍!
快来扫一扫!

大数据小视角:CarbonData,来自华为的中国力量

19960浏览 / 15回复

HappenLee

HappenLee

0
精华
12
帖子

等  级:Lv.2
经  验:422
  • Z金豆: 133

    千万礼品等你来兑哦~快点击这里兑换吧~

  • 城  市:北京
  • 注  册:2018-05-08
  • 登  录:2018-09-08
发表于 2018-07-09 16:00:15
电梯直达 确定
楼主

连续两篇文章都聊了不同的存储格式,这篇我们继续深入来看看在存储格式的演变之上有什么新的"黑科技"。华为公司在2016年开源了类parquet的列存格式:CarbonData,并且贡献给了Apache社区。CarbonData仅仅用了不到一年的时间就成功毕业,成为了Apache社区的顶级项目,CarbonData是文明用语由华人公司主导的Apache顶级项目,(来源自eBay的Kylin算是文明用语由华人主导的顶级开源项目)笔者这里还是要向华为的小伙伴们致敬,能够完成这样一个从0到1的突破。
本篇笔者尝试从技术细节来梳理CarbonData与其“前辈”到底有何不同之处,我们在实际应用与设计存储格式时有什么可以借鉴汲取之处。

1.CarbonData

首先我们来看看CarbonData本身的定位,如下图所示:


大数据小视角:CarbonData,来自华为的中国力量

单一存储数据满足多种数据应用场景

  • 1、支持海量数据扫描并取其中几列;

  • 2、支持根据主键进行查找,并在秒级响应;

  • 3、支持在海量数据进行类似于OLAP的交互式查询,并且查询中涉及到许多过滤条件,这种类型的workload应该在几秒钟内响应;

  • 4、支持快速地抽取单独的记录,并且从该记录中获取到所有列信息;

  • 5、支持HDFS,无缝对接Hadoop生态圈,天生带有分布式基因。

对于OLAP查询来说,存在多种不同类型的查询,存储结构的不同会影响到不同查询的数据表现。所以CarbonData的定位是作为一种通用的查询存储数据,通过Spark SQL来解决海量查询的问题,并且能够与Hadoop生态圈进行无缝对接。CarbonData最初的应用是与Spark SQLSpark DataFrame深度结合,后续由携程团队将CarbonData引入了Presto,滴滴团队将CarbonData引入Hive

其实无论是多维的OLAP查询,还是完整的扫描查询,还是部分范围查询。CarbonData的前辈ORCFile与Parquet都可以同样完成任务,那么作为新人,CarbonData有什么过人之处呢?

快,更快

下图是华为提供进行实测的数据,在绝大多数的测试场景之中CarbonData的性能都略优于Parquet。


大数据小视角:CarbonData,来自华为的中国力量

TPC-H的查询测试

当然快速的查询是需要付出代价的,查询的快速所牺牲的是压缩率的减小与入库时间的延长。

大数据小视角:CarbonData,来自华为的中国力量

TPC-H的入库与压缩测试

那我们接下来就是要详尽讨论CarbonData的性能表现与底层设计之间的逻辑关系。

文件结构

下图展示了CarbonData的数据存储格式:


图片.png

图片.png

  • File Header
    文件头的格式比较简单,保存了存储格式的版本和模式信息。(这部分通常是稳定不可变的内容

  • Blocklet
    单Blocklet最大的容量阀值为64M,也就是说单个HDFS的Block可以容纳多个Blocklet(视Block的大小而定)。这块内容与ORCFile与Parquet的设计一脉相承,都是利用Pax的存储模型来优化数据查询时的性能表现。

  • File Footer
    在文件尾部保存了存储数据的索引和摘要,索引是CarbonData最为核心的关键实现,正是由于索引的存在,大大提高了CarbonData在不同查询场景之下的性能表现

二级索引

CarbonData通过支持了二级索引,大大的提高了CarbonData数据查询的性能表现。

大数据小视角:CarbonData,来自华为的中国力量

CarbonData的二级索引

由上图所示CarbonData在HDFS Block级别与内部的Blocklet级别都分别建立起索引,这样可以大大减少非必要的任务启动与非必要的磁盘IO操作。众所周知,引入索引的的确确能够加快数据的查询速率,但是天下没有免费的午餐。我想CarbonData压缩率缩减与数据导入时间的延长的原因,想必读者心中也有了答案。

大数据小视角:CarbonData,来自华为的中国力量

在Blocklet内部索引在内存之中B+树的形式实现

我们可以看到在CarbonData的文件尾部,通过B+树的方式来实现索引。由于HDFS追加写的特性,所以我想读者应该也能明白为何这些索引数据与统计数据需要存放在CarbonData的末尾。

大数据小视角:CarbonData,来自华为的中国力量

通过二级索引的一次落地查询

上图完整的展现了一次过滤查询的流程,这个过程在二级索引的作用之下,规避了大量非必要的查询交互,由此带来的性能优化是十分明显的。

相对于ORCFile与Parquet相对简要的摘要索引,CarbonData在索引层面颇费心思。通过这样的方式来超越前辈,当然这样的选择设计同样也要付出额外的代价。

全局字典编码

这是CarbonData之中颇具争议的功能,在CarbonData之前的版本是默认添加的内容,目前在1.3版本之中是作为可选项加入其中的。(笔者在华为高斯部门工作的师兄也曾经和笔者吐槽过在生产环境之中,全局字典编码的似乎还存在一些'坑')所以看起来能够运用好字典编码的确是个值得探讨的问题,笔者在此也简单聊一聊:

大数据小视角:CarbonData,来自华为的中国力量

CarbonData全局字典编码

如上图所示,全局字典编码的方式很简单,就是通过数字和字典来替换表格之中重复出现的数据。 这样的好处很明显:

  • 大大减少了表格数据所需要存储的数据量

  • 某些需要进行group by的字段进行全局字典编码,可以大量减少计算时的shuffle的数据量。以达到性能提升的目的。

但是在将数据导入CarbonData的过程之中,对与重复率较低的列,一旦建立起全局字典,显然会大大拖慢数据的导入速度,并且影响数据的压缩程度。而如果对于数据重复率较高的数据,例如性别,年龄等高重复数据,通过建立全局字典能够大大提升CarbonData的压缩程度,并且对数据导入的速率影响不大。

笔者建议:对于字典编码的使用,还是要根据具体也业务场景进行分析压测,给出较为合适的使用方式,盲目使用字典编码反而会对性能带来负优化。

2.小结

到此为止,笔者也大致聊完了对CarbonData存储结构的理解以及笔者在简单实践之中所引发的思考。 作为华人圈子之中文明用语由华人公司主导的Apache的顶级项目,笔者也会继续对CarbonData进行关注与学习,也希望将来华人程序员能够在开源圈之中继续扩大影响力。


评分:+Z金豆 1  已有 1人参与评分

评分 收藏 +1

takeboy

takeboy


精华

帖子

等  级:Lv.3
经  验:696
发表于 2018-06-19 12:53:10 1楼

谢谢楼主!

silenter

silenter


精华

帖子

等  级:Lv.3
经  验:748
发表于 2018-06-19 15:31:11 2楼

谢谢楼主!

kf007

kf007


精华

帖子

等  级:Lv.2
经  验:625
发表于 2018-06-19 15:50:55 3楼

谢谢楼主!

中关村一霸Pl...

中关村一霸Plus


精华

帖子

等  级:Lv.9
经  验:71771
发表于 2018-07-10 10:21:28 4楼

专业炸了!!!!

当青春渐暖

当青春渐暖


精华

帖子

等  级:Lv.7
经  验:15938
发表于 2018-07-10 10:22:05 5楼
只能说写的非常屌了,我们看还得看半天才明白~

公子枫

公子枫


精华

帖子

等  级:Lv.10
经  验:105943
发表于 2018-07-10 10:22:14 6楼

好专业,看着好牛逼的样子

隔壁的阿油

隔壁的阿油


精华

帖子

等  级:Lv.6
经  验:6903
发表于 2018-07-10 10:22:19 7楼
CarbonData,有点黑科技啊

公子枫

公子枫


精华

帖子

等  级:Lv.10
经  验:105943
发表于 2018-07-10 10:22:37 8楼

谢谢楼主!

Les Thackera...

Les Thackeray


精华

帖子

等  级:Lv.7
经  验:16420
发表于 2018-07-10 10:23:00 9楼
这篇文章深入浅出,分析的很好,我做java开发的,不过阿帕奇开源社区来自华人的贡献确实非常大。

l5ypn4

l5ypn4


精华

帖子

等  级:Lv.3
经  验:1024
发表于 2018-07-10 10:23:05 10楼

不明觉厉啊····看着很高大上 就是看不懂·····

Beatrice Hug...

Beatrice Hughes


精华

帖子

等  级:Lv.4
经  验:2828
发表于 2018-07-10 10:23:18 11楼
感觉真的是很专业的知识点啊

alaxiba

alaxiba


精华

帖子

等  级:Lv.7
经  验:16960
发表于 2018-07-10 10:24:11 12楼
感觉真的是很专业啊,效率提升非常明显

惹人喜

惹人喜


精华

帖子

等  级:Lv.1
经  验:59
发表于 2018-07-10 10:26:07 13楼
非常感谢作者分享一些技术背后的原理

柔情少女攻

柔情少女攻


精华

帖子

等  级:Lv.6
经  验:9312
发表于 2018-07-10 10:27:38 14楼

这个写的够专业啊!!!

晨楓林晓窗里...

晨楓林晓窗里窗外


精华

帖子

等  级:Lv.3
经  验:804
发表于 2018-07-10 15:07:36 15楼

当青春渐暖 发表于 2018-07-10 10:22:05

只能说写的非常屌了,我们看还得看半天才明白~

你还能看明白,我这种小白只认识字
高级模式
论坛精选大家都在看24小时热帖7天热帖大家都在问最新回答

针对ZOL论坛您有任何使用问题和建议 您可以 联系论坛管理员查看帮助  或  给我提意见

快捷回复 APP下载 返回列表