大数据全系列 教程
1869个小节阅读:467k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
统计新增用户,两个模块:
数据:
xxxxxxxxxx
zhangsan 2030-07-01 firefox 48
lisi 2030-07-01 firefox 53
map:(将输入的数据变成KV格式数据,k:时间和浏览器的维度组合,V:用户唯一标识)
xxxxxxxxxx
2030-07-01 zhangsan
2030-07-01,firefox,48 zhangsan
2030-07-01,firefox,all zhangsan
2030-07-01 lisi
2030-07-01,firefox,53 lisi
2030-07-01,firefox,all lisi
reduce:(将相同key的数据汇聚到一起,对value的值进行去重累加)
xxxxxxxxxx
2030-07-01 zhangsan 2
2030-07-01 lisi
2030-07-01,firefox,48 zhangsan 1
2030-07-01,firefox,53 lisi 1
2030-07-01,firefox,all zhangsan 2
2030-07-01,firefox,all lisi
为了方便的将结果存入到不同的MySQL表中,将模块名称也当作其中一个维度进行统计
xxxxxxxxxx
zhangsan 2030-07-01 firefox 48
lisi 2030-07-01 firefox 53
(时间,user)
(时间,浏览器,browser)
map:
xxxxxxxxxx
2030-07-01,user zhangsan
2030-07-01,firefox,48,browser zhangsan
2030-07-01,firefox,all,browser zhangsan
2030-07-01,user lisi
2030-07-01,firefox,53,browser lisi
2030-07-01,firefox,all,browser lisi
reduce:
xxxxxxxxxx
2030-07-01,user zhangsan 2
2030-07-01,user lisi
2030-07-01,firefox,48,browser zhangsan 1
2030-07-01,firefox,53,browser lisi 1
2030-07-01,firefox,all,browser zhangsan 2
2030-07-01,firefox,all,browser lisi