大数据全系列 教程
1869个小节阅读:465.4k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
从hbase读取数据,经过MR计算,将结果存储于hbase
sentence表的数据->MR计算->wordcount表中
Hbase2HbaseMain
xxxxxxxxxx
package com.itbaizhan.hbase2hbase;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
public class Hbase2HbaseMain {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration(true);
conf.set("mapreduce.framework.name","local");
conf.set("hbase.zookeeper.quorum","node2,node3,node4");
Job job = Job.getInstance(conf,"hbase2hbase demo");
//设置job的入口程序
job.setJarByClass(Hbase2HbaseMain.class);
//从hbase中去读取数据
Scan scan = new Scan();
//指定查询的列
scan.addColumn("cf".getBytes(), Bytes.toBytes("line"));
TableMapReduceUtil.initTableMapperJob(
"sentence",//从哪张表查询数据
scan,//表扫描器
Hbase2HbaseMapper.class,//Mapper类
Text.class, IntWritable.class,//指定输出的key和value的类型
job,//指定作业对象
false);//不需要上传依赖的jar
//处理后的结果写入到Hbase的表中
TableMapReduceUtil.initTableReducerJob(
"wordcount",//处理后的数据写入到hbase的哪张表中
Hbase2HbaseReducer.class,//指定使用的Reducer类
job,//对应的job对象
null,null,null,null,
false//不要上传依赖的jar包
);
job.waitForCompletion(true);
}
}