大数据全系列 教程
1869个小节阅读:467.9k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
根据TW_MAC_STAT_D
机器日统计表数据得到TM_USR_MRCHNT_STAT_D
商户日统计表信息。
具体思路分析:
接收处理数据日期参数的合法性验证
构建SparkSession对象
切换Hive的命名空间baizhan_music
按照代理人和支付类型分组,对EDS层 TW_MAC_STAT_D表做聚合查询,将查询结果注册为临时视图TEMP_USR_MRCHNT_STAT
。
xxxxxxxxxx
select AGE_ID AS ADMIN_ID, --代理人
PAY_TYPE,
SUM(REV_ORDR_CNT) AS REV_ORDR_CNT, --总营收订单数
SUM(REF_ORDR_CNT) AS REF_ORDR_CNT, --总退款订单数
SUM(TOT_REV) AS TOT_REV, --总营收
SUM(TOT_REF) AS TOT_REF, --总退款
CAST(SUM(TOT_REV * NVL(INV_RATE,0)/100) AS DECIMAL(10,4)) AS TOT_INV_REV, --投资人营收
CAST(SUM(TOT_REV * NVL(AGE_RATE,0)/100) AS DECIMAL(10,4)) AS TOT_AGE_REV, --代理人营收
CAST(SUM(TOT_REV * NVL(COM_RATE,0)/100) AS DECIMAL(10,4)) AS TOT_COM_REV, --公司营收
CAST(SUM(TOT_REV * NVL(PAR_RATE,0)/100) AS DECIMAL(10,4)) AS TOT_PAR_REV --合伙人营收
from TW_MAC_STAT_D
WHERE DATA_DT = ${analyticDate}
GROUP BY AGE_ID,PAY_TYPE
将临时视图TEMP_USR_MRCHNT_STAT
结果保存到分区表TM_USR_MRCHNT_STAT_D
中
同时将以上结果保存至 mysql的songresult.tm_usr_mrchnt_stat_d
中,作为DM层结果