10.10.4 合理设置Reduce数

1. 方式一：强制指定reduce任务的数量

set mapred.reduce.tasks=5 ，默认是-1，默认按照方式二计算得出的reduce任务个数。

2. 方式二：

(1) 设置每个reduce处理的数据量默认值约等于256M

set hive.exec.reducers.bytes.per.reducer=256000000;

(2) 每个任务最大的reduce数，默认1009。

set hive.exec.reducers.max=1009；

(3) 计算reduce数 2560 * 1000 *1000

num = min(hive.exec.reducers.max，

总输入数据量/hive.exec.reducers.bytes.per.reducer)

总结：reduce个数并不是越多越好，过多的启动和初始化reduce也会消耗时间和资源；另外过多的reduce会生成很多个结果文件，同样产生了小文件的问题。