十一、用户浏览深度分析

11.1 需求分析

通过hive和hbase的整合，编写hql分析语句，将分析后的结果放入到hive的结果表中，然后通过sqoop导出到mysql的结果表中。

MySQL中的stat_view_depth表

将用户访问en=e_pv日志按照平台、日期、u_ud或u_sd进行分组，每组有多少个p_url？

分析需要的字段：

在hive中创建hbase的eventlog对应表,需要提前启动hadoop集群（node1:startha.sh）,启动hbase集群(node1:start-hbase.sh),启动hive（node3:nohup hive --service metastore &）

在node4启动hive客户端端，然后执行建表脚本：

xxxxxxxxxx
CREATE EXTERNAL TABLE event_logs(
key string, pl string, en string, s_time bigint, p_url string, u_ud string, u_sd string
) ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties('hbase.columns.mapping'=':key,log:pl,log:en,log:s_time,log:p_url,log:u_ud,log:u_sd')
tblproperties('hbase.table.name'='eventlog');

查询测试一下：

xxxxxxxxxx
hive> select * from event_logs;