大数据全系列 教程
1869个小节阅读:466.9k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
根据以下四个EDS层数据表聚合统计得到TW_MAC_STAT_D
表中(出机器位置、机器的营收情况、用户登录情况)的数据。
TW_MAC_BASEINFO_D
机器基础信息日全量表信息TW_USR_BASEINFO_D
活跃用户基础信息日增量表信息TW_MAC_LOC_D
机器位置信息日统计表TW_CNSM_BRIEF_D
消费退款订单流水日增量表具体思路分析:
构建SparkSession对象
接收处理数据日期参数的合法性验证
切换Hive的命名空间
分别从以下四个EDS层的数据表中查询指定日期的数据,并创建同名的临时视图
TW_MAC_BASEINFO_D
、TW_USR_BASEINFO_D
、TW_MAC_LOC_D
、TW_CNSM_BRIEF_D
根据4得到的TW_CNSM_BRIEF_D
进行机器营收情况统计,并注册临时视图TEMP_REV
注意:这里获取 ABN_TYP = 0 的数据,就是正常订单数据。同时按照MID,PKG_ID,PAY_TYPE分组
根据4得到的TW_CNSM_BRIEF_D
进行机器机器退款统计,并注册临时视图TEMP_REF
注意:这里获取 ABN_TYP = 2 的数据,就是退款订单数据。同时按照MID,PKG_ID,PAY_TYPE分组
根据4得到的TW_USR_BASEINFO_D
进行每台
机器新注册用户数统计,并注册临时视图TEMP_USR_NEW
基于4得到的TW_MAC_BASEINFO_D
和TW_MAC_LOC_D
,以及TEMP_REV
、TEMP_REF
联合查询,统计得到机器日营收情况信息并创建临时视图TEMP_MAC_RESULT
将数据从TEMP_MAC_RESULT
加载到对应的 EDS层 TW_MAC_STAT_D
分区表中
将TEMP_MAC_RESULT
结果保存至 mysql的songresult.tm_machine_rev_infos
中,作为DM层结果