分析网购行为与性别关系

xxxxxxxxxx
select u.gender,count(g.item_id) num
from user_info u
left join user_log g on u.id = g.user_id
where g.user_id is not null
group by u.gender
distribute by num
sort by num desc;

执行查询后出错：

xxxxxxxxxx
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

关闭hive和hadoop集群，修改配置文件yarn-site.xml

关闭hive客户端: quit;

关闭hadoop集群：stopha.sh

xxxxxxxxxx
  <!-- yarn容器允许分配的最大最小内存 -->
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>1024</value>
  </property>
  <!-- yarn容器允许管理的物理内存大小(NN) -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1024</value>
  </property>

改为：

xxxxxxxxxx
  <!-- yarn容器允许分配的最大最小内存 -->
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
  <!-- yarn容器允许管理的物理内存大小(NN) -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>

分发：

xxxxxxxxxx
[root@node3 hadoop]# cd /opt/hadoop-3.1.3/etc/hadoop
[root@node3 hadoop]# vim yarn-site.xml 
[root@node3 hadoop]# scp yarn-site.xml  node4:`pwd`
yarn-site.xml                                                          100% 4220    40.9KB/s   00:00    
[root@node3 hadoop]# scp yarn-site.xml  node2:`pwd`
yarn-site.xml                                                          100% 4220     1.9MB/s   00:00    
[root@node3 hadoop]# scp yarn-site.xml  node1:`pwd`
yarn-site.xml                                                          100% 4220   121.6KB/s   00:00    

修改四个节点的内存：

node1上启动hadoop集群：startha.sh

node3上启动hive：hive --hiveconf hive.cli.print.header=true

查询结果：

xxxxxxxxxx
OK
u.gender    num
0       40313178  #0表示女 女性网购比较多
1       12135530
2       2055127
NULL    421495
Time taken: 466.755 seconds, Fetched: 4 row(s)