目录大数据全系列 教程
1869个小节阅读：467.6k
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本，未来主流的版本
人工智能 教程
顺势而为，AI创新未来
大厂算法 教程
算法，程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
使用Sqoop抽取数据到Hive ODS层
将ycak.machine_baseinfo表通过Sqoop每天全量覆盖导入到ODS层 TO_YCAK_MAC_D表中:
xxxxxxxxxx[root@node3 ~]# cd music/sqoop/[root@node3 sqoop]# vim ods_mysqltohive_to_ycak_mac_d.sh导入脚本ods_mysqltohive_to_ycak_mac_d.sh如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycak?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table machine_baseinfo \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCAK_MAC_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t' 执行脚本：
xxxxxxxxxx[root@node3 sqoop]# sh ods_mysqltohive_to_ycak_mac_d.sh将ycak.machine_local_info表通过Sqoop每天全量覆盖导入到ODS层TO_YCAK_MAC_LOC_D表中
xxxxxxxxxx[root@node3 sqoop]# vim ods_mysqltohive_to_ycak_mac_loc_d.sh导入脚本ods_mysqltohive_to_ycak_mac_loc_d.sh如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycak?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table machine_local_info \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCAK_MAC_LOC_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t'执行脚本：
xxxxxxxxxx[root@node3 sqoop]# sh ods_mysqltohive_to_ycak_mac_loc_d.sh将ycbk.machine_admin_map表通过Sqoop每天全量覆盖导入到ODS层TO_YCBK_MAC_ADMIN_MAP_D表中:
xxxxxxxxxx[root@node3 sqoop]# vim ods_mysqltohive_to_ycbk_mac_admin_map_d.sh导入脚本ods_mysqltohive_to_ycbk_mac_admin_map_d.sh如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table machine_admin_map \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCBK_MAC_ADMIN_MAP_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t'执行脚本：
xxxxxxxxxxsh ods_mysqltohive_to_ycbk_mac_admin_map_d.sh将ycbk.machine_store_map表通过Sqoop每天全量覆盖导入到ODS层TO_YCBK_MAC_STORE_MAP_D表中
xxxxxxxxxxvim ods_mysqltohive_to_ycbk_mac_store_map_d.sh
导入脚本ods_mysqltohive_to_ycbk_mac_store_map_d.sh如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table machine_store_map \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCBK_MAC_STORE_MAP_D/ \--delete-target-dir \--num-mappers 1 --fields-terminated-by '\t'执行脚本。
将ycbk.machine_store_info表通过Sqoop每天全量覆盖导入到ODS层TO_YCBK_STORE_D表中:
xxxxxxxxxxvim ods_mysqltohive_to_ycbk_store_d.sh导入脚本如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table machine_store_info \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCBK_STORE_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t' 将ycbk.province_info表通过Sqoop每天全量覆盖导入到ODS层TO_YCBK_PRVC_D表中:
xxxxxxxxxxvim ods_mysqltohive_to_ycbk_prvc_d.sh导入脚本如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table province_info \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCBK_PRVC_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t'执行脚本。
将ycbk.city_info表通过Sqoop每天全量覆盖导入到ODS层TO_YCBK_CITY_D表中
xxxxxxxxxxvim ods_mysqltohive_to_ycbk_city_d.sh导入脚本如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table city_info \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCBK_CITY_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t'执行脚本。
将ycbk.area_info表通过Sqoop每天全量覆盖导入到ODS层TO_YCBK_AREA_D表中:
xxxxxxxxxxvim ods_mysqltohive_to_ycbk_area_d.sh导入脚本如下：
xxxxxxxxxxsqoop import \--connect jdbc:mysql://node1:3306/ycbk?dontTrackOpenResources=true\&defaultFetchSize=10000\&useCursorFetch=true\&useUnicode=yes\&characterEncoding=utf8 \--username root \--password 123456 \--table area_info \--target-dir /user/hive_remote/warehouse/data/machine/TO_YCBK_AREA_D/ \--delete-target-dir \--num-mappers 1 \--fields-terminated-by '\t'执行脚本。