目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:465.5k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(174)
赞(0)

mysql表分为两类:

  1. 基本维度表:id(自增),其它值字段。比如dimension_browser、dimension_platform
  2. 结果表:联合主键(包含多个单一维度的id值),其它统计结果的字段。比如:stats_user

如果基本维度表中有对应的数据,则获取对应的id;如果没有对应信息则先插入基本维度数据表中,获取id后,再添加到结果表中。

TransformerOutputFormat类中的RecordWriter用于向MySQL输出。

  1. cn.itbaizhan.tranformer.mr.NewInstallUserReducer

    context.write(key,mapWritableValue); //Ctrl+点击

  2. org.apache.hadoop.mapreduce.TaskInputOutputContext

    void write(KEYOUT var1, VALUEOUT var2) throws IOException, InterruptedException; //Ctrl+Alt+B

  3. 选择org.apache.hadoop.mapreduce.lib.chain.ChainReduceContextImpl

  4. org.apache.hadoop.mapreduce.RecordWriter

  5. 选择TransformerRecordWriter,找到了我们自定义类的write方法中。

  6. TransformerRecordWriter类的write方法实现原理分析

  7. StatsUserNewInstallUserCollector

  8. DimensionConverterImpl

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2