Azkaban配置任务流

1. 集群中提交任务，需要修改项目中的application.conf文件配置项：local.run="false"。

2. 并将项目打包MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar，并上传到node3。

   xxxxxxxxxx
   [root@node3 ~]# cd music
   [root@node3 music]# ls
   MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar
   

3. 确保在Hive中创建各个ODS层表及EDS层表

4. 在安装azkaban的node1节点路径/root/music/下创建目录req5

   xxxxxxxxxx
   [root@node1 music]# mkdir req5
   [root@node1 music]# cd req5/
   

5. 编写导入数据脚本 extract_data.sh对应商户营收日统计(业务四部分)

   xxxxxxxxxx
   [root@node1 req5]# cp ../req3/extract_usr_data.sh extract_data.sh
   [root@node1 req5]# vim extract_data.sh
   

   内容如下：

   xxxxxxxxxx
   #!/bin/bash
   currentDate=`date -d today +"%Y%m%d"`
   if [ x"$1" = x ];then
       echo "====azkaban中没有传入日期，使用今天日期==="
   else
       echo "===使用azkaban中传入的日期==="
       currentDate=$1
   fi
   echo "分析数据的日期为：$currentDate"
   ssh root@node3 > /root/music/logs/req5.log 2>&1 <<aabbcc
   cd /root/music/sqoop/
   sh ods_mysqltohive_to_ycak_usr_loc_d.sh $currentDate
   sh ods_mysqltohive_to_ycak_cnsm_d.sh $currentDate
   exit
   aabbcc
   echo "req5 job5 all done!"
   

6. 编写脚本 eds_pre.sh对应商户营收日统计(业务四部分)

   

   xxxxxxxxxx
   [root@node1 req5]# cp extract_data.sh eds_pre.sh
   [root@node1 req5]# vim eds_pre.sh
   

   内容如下：

   xxxxxxxxxx
   #!/bin/bash
   currentDate=`date -d today +"%Y%m%d"`
   if [ x"$1" = x ];then
       echo "====azkaban中没有传入日期，使用今天日期==="
   else
       echo "===使用azkaban中传入的日期==="
       currentDate=$1
   fi
   echo "分析数据的日期为：$currentDate"
   ssh root@node3 > /root/music/logs/req5.log 2>&1 <<aabbcc
   cd /opt/spark-3.2.1/bin/
   sh ./spark-submit --master yarn --class com.itbaizhan.scala.musicproject.eds.machine.GenerateTwMacLocD /root/music/MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar $currentDate
   sh ./spark-submit --master yarn --class com.itbaizhan.scala.musicproject.eds.user.GenerateTwCnsmBriefD /root/music/MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar $currentDate
   exit
   aabbcc
   echo "req5 job6 all done!"
   

7. 编写脚本 eds_mac_stat.sh对应商户营收日统计(业务四部分)

   

   xxxxxxxxxx
   [root@node1 req5]# cp eds_pre.sh eds_mac_stat.sh
   [root@node1 req5]# vim eds_mac_stat.sh
   

   内容如下：

   xxxxxxxxxx
   #!/bin/bash
   currentDate=`date -d today +"%Y%m%d"`
   if [ x"$1" = x ];then
       echo "====azkaban中没有传入日期，使用今天日期==="
   else
       echo "===使用azkaban中传入的日期==="
       currentDate=$1
   fi
   echo "分析数据的日期为：$currentDate"
   ssh root@node3 > /root/music/logs/req5.log 2>&1 <<aabbcc
   cd /opt/spark-3.2.1/bin/
   sh ./spark-submit --master yarn --class com.itbaizhan.scala.musicproject.eds.machine.GenerateTwMacStatD /root/music/MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar $currentDate
   exit
   aabbcc
   echo "req5 job7 all done!"
   

8. 编写脚本 tm_store_area.sh对应商户营收日统计(业务四部分)

   

   xxxxxxxxxx
   [root@node1 req5]# cp eds_pre.sh tm_store_area.sh
   [root@node1 req5]# vim tm_store_area.sh
   

   内容如下：

   xxxxxxxxxx
   #!/bin/bash
   currentDate=`date -d today +"%Y%m%d"`
   if [ x"$1" = x ];then
       echo "====azkaban中没有传入日期，使用今天日期==="
   else
       echo "===使用azkaban中传入的日期==="
       currentDate=$1
   fi
   echo "分析数据的日期为：$currentDate"
   ssh root@node3 > /root/music/logs/req5.log 2>&1 <<aabbcc
   cd /opt/spark-3.2.1/bin/
   sh ./spark-submit --master yarn --class com.itbaizhan.scala.musicproject.dm.content.GenerateTmUsrMrchntStatD /root/music/MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar $currentDate
   sh ./spark-submit --master yarn --class com.itbaizhan.scala.musicproject.eds.machine.GenerateTmMacRegionStatD  /root/music/MusicProject-1.0-SNAPSHOT-jar-with-dependencies.jar $currentDate
   exit
   aabbcc
   echo "req5 job8 all done!"
   

9. 启动Azkaban 启动exec server

   xxxxxxxxxx
   [root@node1 azkaban-exec]# bin/start-exec.sh
   [root@node2 azkaban-exec]# bin/start-exec.sh
   [root@node3 azkaban-exec]# bin/start-exec.sh
   

   扩展：关闭命令bin/shutdown-exec.sh

   激活Executor

   1. http://node1:12345/executor?action=activate
   2. http://node2:12345/executor?action=activate
   3. http://node3:12345/executor?action=activate

   xxxxxxxxxx
   {"status":"success"} #表示登录成功
   

   【温馨提示】重启Azkaban Executor Server得重新激活

   启动 web server

   xxxxxxxxxx
   [root@node2 azkaban-web]# bin/start-web.sh
   

   测试访问http://node2:8081/，并用azkaban用户登录

10. 编写azkaban 各个job组成任务流：

11. 创建req5文件夹

12. 在文件中创建azkaban.project

    xxxxxxxxxx
    azkaban-flow-version: 2.0
    

13. 在文件中创建basic.flow

    xxxxxxxxxx
    nodes:
     - name: job1
       type: command
       config:
        command: sh /root/music/req2/extract_data.sh
        
     - name: job2
       type: command
       dependsOn:
        - job1
       config:
        command: sh /root/music/req2/produce_tw_mac_baseinfo.sh ${mydate}
        
     - name: job3
       type: command
       config:
        command: sh /root/music/req3/extract_usr_data.sh ${mydate}
        
     - name: job4
       type: command
       dependsOn:
        - job3
       config:
        command: sh /root/music/req3/produce_tw_usr_baseinfo_d.sh ${mydate}
        
     - name: job5
       type: command
       config:
        command: sh /root/music/req5/extract_data.sh ${mydate}
        
     - name: job6
       type: command
       dependsOn:
        - job5
       config:
        command: sh /root/music/req5/eds_pre.sh ${mydate}
        
     - name: job7
       type: command
       dependsOn:
        - job2
        - job4
        - job6
       config:
        command: sh /root/music/req5/eds_mac_stat.sh ${mydate}
        
     - name: job8
       type: command
       dependsOn:
        - job7
       config:
        command: sh /root/music/req5/tm_store_area.sh ${mydate}
    

14. 压缩两个文件为req5.zip

15. azkaban创建项目，将req5.zip上传到项目，并配置参数

    

16. 继续执行

    

17. 检查相关表中的数据。