《大数据全系列》
本次更新内容为大数据第十五阶段:大数据任务流调度系统azkaban:
本阶段所讲的Azkaban是一个批量工作流调度器,底层是使用java语言开发,用于在一个工作流内以一定的顺序运行一组任务和流程,并且提供了非常方便的webui界面来监控任务调度的情况,方便我们来管理流调度任务。在复杂的大数据开发环境中每个任务都不是独立的,之间都会有依赖关系,Azkaban工作流调度器解决的就是此类问题。
适合人群:
1)掌握Hadoop及HDFS原理和使用
2)掌握MapReduce原理及代码编写
3)掌握zookeeper、Hive、Hbase原理及使用
章节1:Azkaban系统基础原理及搭建 |
01_Azkaban 任务流调度器_Azkaban使用场景及介绍 |
02_Azkaban 任务流调度器_源码编译及安装 |
03_Azkaban 任务流调度器_导入数据库及创建SSL配置 |
04_Azkaban 任务流调度器_Azkaban-Web端配置及Azkaban-Executor端配置 |
05_Azkaban 任务流调度器_Azkaban启动访问及HTTPS访问、HTTP访问 |
章节2:Azkaban任务调度使用 |
01_Azkaban 任务流调度器_Azkaban日志查看&名词解&任务流依赖编写 |
02_Azkaban 任务流调度器_Azkaban任务流提交执行、日志查看、定时任务提交 |
03_Azkaban 任务流调度器_Azkaban传参及问题解决 |
另附各章节课程资料