机器详细信息统计_Hive模型设计-【官方】百战程序员_IT在线教育培训机构

物理模型名称	TO_YCAK_MAC_D	DATA_TYPE	COMMENT
逻辑模型名称	机器基本信息日全量表	数据类型	注释
机器ID	MID	int
序列号	SRL_ID	string
Hard_ID	HARD_ID	string
歌库版本号	SONG_WHSE_VER	string
系统版本号	EXEC_VER	string
歌库UI版本号	UI_VER	string
是否在线	IS_ONLINE	string
激活状态	STS	int
最近登录时间	CUR_LOGIN_TM	string
支付开关是否打开	PAY_SW	string	默认0
语言类型	LANG	int	0中文，1英文
歌库类型	SONG_WHSE_TYPE	int	0本地硬盘，1NAS盘
屏幕类型	SCR_TYPE	int	0双屏，1单屏

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCAK_MAC_D`(
 `MID` int, 
 `SRL_ID` string, 
 `HARD_ID` string, 
 `SONG_WHSE_VER` string, 
 `EXEC_VER` string, 
 `UI_VER` string, 
 `IS_ONLINE` string, 
 `STS` int, 
 `CUR_LOGIN_TM` string, 
 `PAY_SW` string, 
 `LANG` int, 
 `SONG_WHSE_TYPE` int, 
 `SCR_TYPE` int)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCAK_MAC_D';

TO_YCAK_MAC_LOC_D 机器位置信息表-ycak.machine_local_info

物理模型名称	TO_YCAK_MAC_LOC_D	DATA_TYPE
逻辑模型名称	机器位置信息日全量表	数据类型
机器ID	MID	int
省份ID	PRVC_ID	int
城市ID	CTY_ID	int
省份	PRVC	string
城市	CTY	string
地图返回标签	MAP_CLSS	string
经度	LON	string
纬度	LAT	string
GPS地址	ADDR	string
统一格式地址	ADDR_FMT	string
运营时间	REV_TM	string
销售时间	SALE_TM	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCAK_MAC_LOC_D`(
 `MID` int, 
 `PRVC_ID` int, 
 `CTY_ID` int, 
 `PRVC` string, 
 `CTY` string, 
 `MAP_CLSS` string, 
 `LON` string, 
 `LAT` string, 
 `ADDR` string, 
 `ADDR_FMT` string, 
 `REV_TM` string, 
 `SALE_TM` string)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCAK_MAC_LOC_D';

TO_YCBK_MAC_ADMIN_MAP_D 机器客户映射资料表-ycbk.machine_admin_map

物理模型名称	TO_YCBK_MAC_ADMIN_MAP_D	DATA_TYPE	COMMENT
逻辑模型名称	机器客户映射关系资料日全量表	数据类型	注释
机器编号	MID	int
机器名称	MAC_NM	string
套餐id	PKG_NUM	int
套餐名称	PKG_NM	string	街机版、联营版、加强版
投资人分成比例	INV_RATE	double
承接方分成比例	AGE_RATE	double
公司分成比例	COM_RATE	double
合作方分成比例	PAR_RATE	double
押金	DEPOSIT	double
场景省分代码	SCENE_PRVC_ID	string
场景城市代码	SCENE_CTY_ID	string
场景区代码	SCENE_AREA_ID	string
场景地址	SCENE_ADDR	string
产品类型	PRDCT_TYPE	string	1Kshow，2MiniK
机器序列号	SERIAL_NUM	string
是否开通移动支付功能	HAD_MPAY_FUNC	int	0关闭，1开通
是否已激活	IS_ACTV	int	1已激活
激活时间	ACTV_TM	string
订单创建时间	ORDER_TM	string
场地名称	GROUND_NM	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCBK_MAC_ADMIN_MAP_D`(
 `MID` int, 
 `MAC_NM` string, 
 `PKG_NUM` int, 
 `PKG_NM` string, 
 `INV_RATE` double, 
 `AGE_RATE` double, 
 `COM_RATE` double, 
 `PAR_RATE` double, 
 `DEPOSIT` double, 
 `SCENE_PRVC_ID` string, 
 `SCENE_CTY_ID` string, 
 `SCENE_AREA_ID` string, 
 `SCENE_ADDR` string, 
 `PRDCT_TYPE` string, 
 `SERIAL_NUM` string, 
 `HAD_MPAY_FUNC` int, 
 `IS_ACTV` int, 
 `ACTV_TM` string,
 `ORDER_TM` string,
 `GROUND_NM` string)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCBK_MAC_ADMIN_MAP_D';

TO_YCBK_MAC_STORE_MAP_D 机器门店映射关系表-ycbk.machine_store_map

物理模型名称	TO_YCBK_MAC_STORE_MAP_D	DATA_TYPE	COMMENT
逻辑模型名称	机器门店映射关系日全量表	数据类型	注释
门店id	STORE_ID	int
机器编号	MID	int
产品类型	PRDCT_TYPE	int	1Kshow，2MiniK
机器拥有者id	ADMINID	int
创建时间	CREAT_TM	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCBK_MAC_STORE_MAP_D`(
 `STORE_ID` int, 
 `MID` int, 
 `PRDCT_TYPE` int, 
 `ADMINID` int, 
 `CREAT_TM` string
)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCBK_MAC_STORE_MAP_D';

TO_YCBK_STORE_D 门店信息表-ycbk.machine_store_info

物理模型名称	TO_YCBK_STORE_D	DATA_TYPE	COMMENT
逻辑模型名称	门店信息日全量表	数据类型	注释
自增唯一ID	ID	int	NOTNULLAUTO_INCREMENT
门店名称	STORE_NM	string
标签代码	TAG_ID	string
标签名称 --主场景名称	TAG_NM	string
子标签代码	SUB_TAG_ID	string
子标签名称 --主场景分类	SUB_TAG_NM	string
门店省分代码	PRVC_ID	string	hat_province
门店城市代码	CTY_ID	string
门店区代码	AREA_ID	string
门店地址	ADDR	string
场地名称	GROUND_NM	string
门店开始营业时间	BUS_TM	int	HH：MM
门店结束营业时间	CLOS_TM	int	HH：MM
子场景分类代码	SUB_SCENE_CATGY_ID	string
子场景分类名称	SUB_SCENE_CATGY_NM	string
子场景代码	SUB_SCENE_ID	string
子场景名称	SUB_SCENE_NM	string
品牌代码	BRND_ID	string
品牌名称	BRND_NM	string
子品牌代码	SUB_BRND_ID	string
子品牌名称	SUB_BRND_NM	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCBK_STORE_D`(
 `ID` int, 
 `STORE_NM` string, 
 `TAG_ID` string, 
 `TAG_NM` string, 
 `SUB_TAG_ID` string,
 `SUB_TAG_NM` string,
 `PRVC_ID` string,
 `CTY_ID` string,
 `AREA_ID` string,
 `ADDR` string,
 `GROUND_NM` string,
 `BUS_TM` string,
 `CLOS_TM` string,
 `SUB_SCENE_CATGY_ID` string,
 `SUB_SCENE_CATGY_NM` string,
 `SUB_SCENE_ID` string,
 `SUB_SCENE_NM` string,
 `BRND_ID` string,
 `BRND_NM` string,
 `SUB_BRND_ID` string,
 `SUB_BRND_NM` string
)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCBK_STORE_D';

TO_YCBK_PRVC_D 机器省份日全量表-ycbk.province_info

物理模型名称	TO_YCBK_PRVC_D	DATA_TYPE
逻辑模型名称	机器省份日全量表	数据类型
省份ID	PRVC_ID	int
省份	PRVC	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCBK_PRVC_D`(
 `PRVC_ID` int, 
 `PRVC` string
)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCBK_PRVC_D';

TO_YCBK_CITY_D 机器城市日全量表-ycbk.city_info

物理模型名称	TO_YCBK_CITY_D	DATA_TYPE
逻辑模型名称	机器城市日全量表	数据类型
省份ID	PRVC_ID	int
城市ID	CTY_ID	int
城市	CTY	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCBK_CITY_D`(
 `PRVC_ID` int, 
 `CTY_ID` int,
 `CTY` string
)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCBK_CITY_D';

TO_YCBK_AREA_D 机器区县日全量表-ycbk.area_info

物理模型名称	TO_YCBK_AREA_D	DATA_TYPE
逻辑模型名称	机器区县日全量表	数据类型
城市ID	CTY_ID	int
区域ID	AREA_ID	int
区域	AREA	string

建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TO_YCBK_AREA_D`(
 `CTY_ID` int, 
 `AREA_ID` int,
 `AREA` string
)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TO_YCBK_AREA_D';

TW_MAC_BASEINFO_D机器基础信息日全量表

以上建模中，处理ODS层的各个表结构之外，EDS层TW_MAC_BASEINFO_D 表在对应的DM层也要一张表对应，这里DM层在mysql中有对应的tm_mac_baseinfo_d 表，以上各个表之间的数据流转过程如下：

物理模型名称	TW_MAC_BASEINFO_D	DATA_TYPE	COMMENT
逻辑模型名称	机器基础信息日全量表	数据类型	注释
机器ID	MID	int
机器名称	MAC_NM	string
歌库版本号	SONG_WHSE_VER	string
系统版本号	EXEC_VER	string
UI版本号	UI_VER	string
Hard_ID	HARD_ID	string
销售时间	SALE_TM	string
运营时间	REV_TM	string
运营商名称	OPER_NM	string
省份	PRVC	string
城市	CTY	string
区域	AREA	string
地址	ADDR	string	优先取ycbk地址，为空则取GPS地址
门店名称	STORE_NM	string
主场景分类	SCENCE_CATGY	string
子场景分类	SUB_SCENCE_CATGY	string
主场景	SCENE	string
子场景	SUB_SCENE	string
主场景品牌	BRND	string
子场景品牌	SUB_BRND	string
产品名称	PRDCT_NM	string
产品类型	PRDCT_TYP	int	机器各种类型
运营模式	BUS_MODE	string	加盟，卖断，自营
投资人分成比例	INV_RATE	double
代理人、联盟人分成比例	AGE_RATE	double
公司分成比例	COM_RATE	double
合作方分成比例	PAR_RATE	double
是否激活	IS_ACTV	int
激活时间	ACTV_TM	string
是否开通移动支付	PAY_SW	int
代理人姓名	PRTN_NM	string
最近登录时间	CUR_LOGIN_TM	string
数据日期	DATA_DT	string	分区字段

hive建表脚本：


xxxxxxxxxx
CREATE EXTERNAL TABLE `TW_MAC_BASEINFO_D`(
 `MID` int, 
 `MAC_NM` string,
 `SONG_WHSE_VER` string, 
 `EXEC_VER` string, 
 `UI_VER` string, 
 `HARD_ID` string, 
 `SALE_TM` string, 
 `REV_TM` string, 
 `OPER_NM` string, 
 `PRVC` string, 
 `CTY` string, 
 `AREA` string, 
 `ADDR` string,
 `STORE_NM` string,
 `SCENCE_CATGY` string, 
 `SUB_SCENCE_CATGY` string, 
 `SCENE` string, 
 `SUB_SCENE` string, 
 `BRND` string, 
 `SUB_BRND` string, 
 `PRDCT_NM` string, 
 `PRDCT_TYP` int, 
 `BUS_MODE` string, 
 `INV_RATE` double, 
 `AGE_RATE` double, 
 `COM_RATE` double, 
 `PAR_RATE` double, 
 `IS_ACTV` int, 
 `ACTV_TM` string,
 `PAY_SW` int,
 `PRTN_NM` string,
 `CUR_LOGIN_TM` string
 )
PARTITIONED BY (data_dt string)
ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' 
LOCATION 'hdfs://mycluster/user/hive_remote/warehouse/data/machine/TW_MAC_BASEINFO_D';

机器详细信息统计_MySQL表概述二机器详细信息统计_Sqoop数据同步一

北京市昌平区回龙观镇南店村综合商业楼2楼226室