大数据全系列 教程
1869个小节阅读:467.2k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
xxxxxxxxxx
package cn.itbaizhan.tranformer.mr.activeuser;
import cn.itbaizhan.tranformer.model.StatsUserDimesion;
import cn.itbaizhan.tranformer.model.TimeOutputValue;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import java.util.List;
public class ActiveUserRunner implements Tool {
//创建日志记录对象
//声明配置文件对象
public static void main(String[] args) {
try {
ToolRunner.run(new Configuration(true),new ActiveUserRunner(),args);
} catch (Exception e) {
//异常日志记录
}
}
@Override
public int run(String[] args) throws Exception {
Configuration conf = this.getConf();
//处理参数
processArgs(args);
//创建job对象
Job job = null;
//
TableMapReduceUtil.initTableMapperJob(
getScans(conf),
ActiveUserMapper.class,
StatsUserDimesion.class,
TimeOutputValue.class,
job,
false
);
//设置Reducer相关参数
//设置OutputFormat类
//提交作业
return 0;
}
private List<Scan> getScans(Configuration conf) {
return null;
}
//处理日期参数
private void processArgs(String[] args) {
//从传入的参数中获取日期
//如果日期不合法或没有,则使用当前系统时间的昨天
//将日期添加配置文件对象
}
@Override
public void setConf(Configuration conf) {
//设置相关参数
//加载三个配置文件
//配置文件处理
}
@Override
public Configuration getConf() {
return null;
}
}