Azkaban配置任务流

1. 集群中提交任务，需要修改项目中的application.conf文件配置项：local.run="false"。

2. 并将项目打包MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar，并上传到node3。

   xxxxxxxxxx
   [root@node3 ~]# cd music
   [root@node3 music]# ls
   MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar
   

3. 确保在Hive中创建各个ODS层表及EDS层表

4. 在安装azkaban的node1节点路径/root/music/下创建目录req3,并准备脚本 extract_usr_data.sh

   xxxxxxxxxx
   [root@node1 music]# mkdir req3
   [root@node1 music]# cd req3/
   [root@node1 req3]# vim extract_usr_data.sh
   

   内容如下：

   xxxxxxxxxx
   #!/bin/bash
   currentDate=`date -d today +"%Y%m%d"`
   if [ x"$1" = x ]; then
     echo "====azkaban中没有传入日期，使用今天日期===="
   else
     echo "====使用azkaban中导入的数据日期 ===="
     currentDate=$1
   fi
   echo "日期为 : $currentDate"
   
   ssh root@node3 > /root/music/logs/req3_log.txt 2>&1 <<aabbcc
   cd /root/music/sqoop
   sh ods_mysqltohive_to_ycak_usr_d.sh
   sh ods_mysqltohive_to_ycak_usr_ali_d.sh
   sh ods_mysqltohive_to_ycak_usr_qq_d.sh
   sh ods_mysqltohive_to_ycak_usr_app_d.sh
   sh ods_mysqltohive_to_ycak_usr_login_d.sh $currentDate
   exit
   aabbcc
   echo "req3 job1 all done!"