大数据全系列 教程
1869个小节阅读:466.9k
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
TW_CNSM_BRIEF_D消费退款订单流水日增量表
物理模型名称 | TW_CNSM_BRIEF_D | DATA_TYPE | COMMENT |
---|---|---|---|
逻辑模型名称 | 消费退款订单流水日增量表 | 数据类型 | 注释 |
ID | ID | int(11) | |
第三方交易编号 | TRD_ID | varchar(128) | |
用户ID | UID | varchar(11) | |
机器ID | MID | int(11) | |
产品类型 | PRDCD_TYPE | int(1) | 1Kshow,2Minik,3Kshow之王街机 版,4乐方,8MiniShow |
支付类型 | PAY_TYPE | int(1) | 0投币,1K金币,2银币,3音乐积分, 4微信,5支付宝,6免费券,7QQ, 9招行一网通 |
消费时间 | ACT_TM | varchar(128) | |
套餐ID | PKG_ID | int(2) | |
币值 | COIN_PRC | int(11) | 单位:分 |
币数 | COIN_CNT | int(11) | |
状态更新时间 | UPDATE_TM | varchar(128) | |
订单ID | ORDR_ID | varchar(128) | |
优惠活动名称 | ACTV_NM | varchar(128) | 空没有参加活动 |
套餐原价 | PKG_PRC | int(11) | 0套餐原价不详 |
套餐优惠价 | PKG_DSCNT | int(11) | |
优惠券类型 | CPN_TYPE | int(4) | 0没有使用优惠券,minik.t_config_item |
异常类型 | ABN_TYP | int(1) | 0:正常订单无异常 1:异常订单 2:商家退款 |
数据日期 | data_dt | varchar(32) | 分区字段 |
xxxxxxxxxx
CREATE EXTERNAL TABLE `TW_CNSM_BRIEF_D`(
`ID` int,
`TRD_ID` string,
`UID` string,
`MID` int,
`PRDCD_TYPE` int,
`PAY_TYPE` int,
`ACT_TM` string,
`PKG_ID` int,
`COIN_PRC` int,
`COIN_CNT` int,
`UPDATE_TM` string,
`ORDR_ID` string,
`ACTV_NM` string,
`PKG_PRC` int,
`PKG_DSCNT` int,
`CPN_TYPE` int,
`ABN_TYP` int
)
PARTITIONED BY (data_dt string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/user/TW_CNSM_BRIEF_D';
TW_USR_BASEINFO_D活跃用户基础信息日增量表和TW_MAC_BASEINFO_D 机器基础信息日全量表(已创建)
TW_MAC_LOC_D机器位置信息日统计表
物理模型名称 | TW_MAC_LOC_D | DATA_TYPE | COMMENT |
---|---|---|---|
逻辑模型名称 | 机器位置信息日统计表 | 数据类型 | 注释 |
机器ID | MID | int(11) | |
纬度 | X | varchar(14) | |
经度 | Y | varchar(14) | |
出现次数 | CNT | int(11) | |
地址 | ADDER | varchar(128) | 结构化地址信息包括:省份+城市+区县+城镇+乡村+街道+门牌号码 |
省份 | PRVC | varchar(64) | |
城市 | CTY | varchar(64) | |
城市编码 | CTY_CD | varchar(12) | |
县区 | DISTRICT | varchar(64) | |
县区编码 | AD_CD | varchar(12) | |
乡镇街道 | TOWN_SHIP | varchar(64) | |
乡镇街道编码 | TOWN_CD | varchar(12) | |
社区名称 | NB_NM | varchar(64) | |
社区类型 | NB_TP | varchar(64) | |
建筑名称 | BD_NM | varchar(64) | |
建筑类型 | BD_TP | varchar(64) | |
道路名称 | STREET | varchar(64) | |
道路门牌号 | STREET_NB | varchar(64) | |
道路坐标 | STREET_LOC | varchar(64) | 经度,纬度 |
道路方位 | STREET_DRCTION | varchar(64) | |
门牌地址到请求坐标的距离 | STREET_DSTANCE | varchar(64) | |
商圈信息 | BUS_INFO | varchar(128) | |
数据日期 | DATA_DT | varchar(64) | 分区字段 |
xxxxxxxxxx
CREATE EXTERNAL TABLE `TW_MAC_LOC_D`(
`MID` int,
`X` string,
`Y` string,
`CNT` int,
`ADDER` string,
`PRVC` string,
`CTY` string,
`CTY_CD` string,
`DISTRICT` string,
`AD_CD` string,
`TOWN_SHIP` string,
`TOWN_CD` string,
`NB_NM` string,
`NB_TP` string,
`BD_NM` string,
`BD_TP` string,
`STREET` string,
`STREET_NB` string,
`STREET_LOC` string,
`STREET_DRCTION` string,
`STREET_DSTANCE` string,
`BUS_INFO` string
)
PARTITIONED BY (data_dt string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TW_MAC_LOC_D';
TW_MAC_STAT_D机器日营收情况统计表
物理模型名称 | TW_MAC_STAT_D | DATA_TYPE | COMMENT |
---|---|---|---|
逻辑模型名称 | 机器日营收情况统计表 | 数据类型 | 注释 |
机器ID | MID | int(11) | |
机器名称 | MAC_NM | varchar(50) | |
产品类型 | PRDCT_TYPE | int(2) | |
门店名称 | STORE_NM | varchar(32) | |
运营模式 | BUS_MODE | int(2) | |
移动支付开关 | PAY_SW | varchar(2) | |
主场景分类 | SCENCE_CATGY | varchar(128) | |
子场景分类 | SUB_SCENCE_CATGY | varchar(128) | |
主场景 | SCENE | varchar(128) | |
子场景 | SUB_SCENE | varchar(128) | |
主场景品牌 | BRND | varchar(128) | |
子场景品牌 | SUB_BRND | varchar(128) | |
省份 | PRVC | varchar(128) | |
城市 | CTY | varchar(128) | |
区域 | AREA | varchar(128) | |
代理人ID | AGE_ID | varchar(128) | |
投资人分成比例 | INV_RATE | double | |
代理人、联盟人分成比例 | AGE_RATE | double | |
公司分成比例 | COM_RATE | double | |
合作方分成比例 | PAR_RATE | double | |
套餐ID | PKG_ID | int(2) | |
支付类型 | PAY_TYPE | int(2) | 0投币,1K金币,2银币,3音乐积分,4微信,5支付宝,6免费券,7QQ |
总消费用户数 | CNSM_USR_CNT | int(11) | |
总退款用户数 | REF_USR_CNT | int(11) | |
总新增用户数 | NEW_USR_CNT | int(11) | |
总营收订单数 | REV_ORDR_CNT | int(11) | |
总退款订单数 | REF_ORDR_CNT | int(11) | |
总营收 | TOT_REV | double | |
总退款 | TOT_REF | double | |
数据日期 | DATA_DT | varchar(128) | 分区字段 |
xxxxxxxxxx
CREATE EXTERNAL TABLE `TW_MAC_STAT_D`(
`MID` int,
`MAC_NM` string,
`PRDCT_TYPE` string,
`STORE_NM` string,
`BUS_MODE` string,
`PAY_SW` string,
`SCENCE_CATGY` string,
`SUB_SCENCE_CATGY` string,
`SCENE` string,
`SUB_SCENE` string,
`BRND` string,
`SUB_BRND` string,
`PRVC` string,
`CTY` string,
`AREA` string,
`AGE_ID` string,
`INV_RATE` double,
`AGE_RATE` double,
`COM_RATE` double,
`PAR_RATE` double,
`PKG_ID` string,
`PAY_TYPE` int,
`CNSM_USR_CNT` int,
`REF_USR_CNT` int,
`NEW_USR_CNT` int,
`REV_ORDR_CNT` int,
`REF_ORDR_CNT` int,
`TOT_REV` double,
`TOT_REF` double
)
PARTITIONED BY (data_dt string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TW_MAC_STAT_D';
在Hive中构建DM层对应的表:
TM_USR_MRCHNT_STAT_D商户营收日统计表
物理模型名称 | TM_USR_MRCHNT_STAT_D | DATA_TYPE | COMMENT |
---|---|---|---|
逻辑模型名称 | 商户日营收统计表 | 数据类型 | 注释 |
用户ID-代理人 | ADMIN_ID | string | 代理人ID |
支付类型 | PAY_TYPE | int | |
总营收订单数 | REV_ORDR_CNT | int | |
总退款订单数 | REF_ORDR_CNT | int | |
总营收 | TOT_REV | double | |
总退款 | TOT_REF | double | |
投资人营收 | TOT_INV_REV | DECIMAL(10,4) | |
代理人营收 | TOT_AGE_REV | DECIMAL(10,4) | |
公司营收 | TOT_COM_REV | DECIMAL(10,4) | |
合伙人营收 | TOT_PAR_REV | DECIMAL(10,4) | |
分区字段 | data_dt | string | 分区字段 |
xxxxxxxxxx
CREATE EXTERNAL TABLE `TM_USR_MRCHNT_STAT_D`(
`ADMIN_ID` string,
`PAY_TYPE` int,
`REV_ORDR_CNT` int,
`REF_ORDR_CNT` int,
`TOT_REV` double,
`TOT_REF` double,
`TOT_INV_REV` DECIMAL(10,4),
`TOT_AGE_REV` DECIMAL(10,4),
`TOT_COM_REV` DECIMAL(10,4),
`TOT_PAR_REV` DECIMAL(10,4)
)
PARTITIONED BY (DATA_DT string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/user/TM_USR_MRCHNT_STAT_D';
以上模型设计中,各个ODS层与EDS层表之间的流转关系如下: