Pig对于数据倾斜Join的优化原理

Pig对于数据倾斜Join的优化原理

1、对数据抽样

2、根据样本数据,估计出某个key的所有的记录数以及所占的总内存,pig.skewedjoin.reduce.memusage 控制reduce消耗内存比例,再计算出某个key所需要的reduce个数,以及reduce的总数。

3、将结果存一个文件中,相当于索引文件,格式为:(swpv,0,3), (swps,4,5)(说明:<join key>,<min index of reducer>, <max index ofreducer>)

4、自定义Patitioner,读取索引,并将key平均分配到reduce上。比如:(swpv,0,3)将swpv平均分配到 编号为0-3的reduce中。

Pig 的安装与测试

Pig安装与配置教程

Pig 安装部署及MapReduce模式下测试

Pig安装及本地模式测试,体验

Pig的安装配置与基本使用

Hadoop Pig进阶语法

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/50721b0518654e03d51af41ec5278b00.html