大数据全系列 教程
1869个小节阅读:466.8k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
让job2和job3并行执行,提高效率,减少完成时间。
xxxxxxxxxx
hive> set hive.exec.parallel;
hive.exec.parallel=false # 默认是false
hive>select t1.ct,t2.ct from (select count(id) ct from person) t1,(select count(name) ct from person) t2;
看执行过程,Launching Job 1 out of 5执行完,才执行Launching Job 2 out of 5
t1.ct t2.ct
9 9
Time taken: 39.904 seconds, Fetched: 1 row(s)
# 修改为并行执行
hive>set hive.exec.parallel=true;
hive>select t1.ct,t2.ct from (select count(id) ct from person) t1,(select count(name) ct from person) t2;
Launching Job 1 out of 5和Launching Job 2 out of 5 并行执行。但时间有可能并没有减少,因为需要两套资源,目前还是使用一套。资源充足的情况下,肯定并行更快。
t1.ct t2.ct
9 9
Time taken: 157.676 seconds, Fetched: 1 row(s)
hive> set hive.exec.parallel.thread.number;
hive.exec.parallel.thread.number=8
#并行进程默认是8个进程同时进行。