大数据全系列 教程
1869个小节阅读:464.8k
目录
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
八、新增用户数据处理
比如统计学生人数?
统计维度:性别和是否带眼镜
单一维度:
xxxxxxxxxx
男生
女生
戴眼镜
不带眼睛
复合维度:
xxxxxxxxxx
戴眼镜男生
不戴眼镜男生
戴眼镜女生
不戴眼镜女生
比如数据:
xxxxxxxxxx
张三 男生 戴眼镜
李四 男生 不戴眼镜
作业如何处理?
map:(将输入的值变成KV格式的数据,K:维度组合
,V:唯一标识的值
)
xxxxxxxxxx
男生 张三
戴眼镜 张三
戴眼镜男生 张三
男生 李四
不戴眼镜 李四
不戴眼镜男生 李四
reduce:(将相同key的数据聚合到一起,做去重累加操作)
xxxxxxxxxx
男生 张三 2
男生 李四
戴眼镜 张三 1
不戴眼镜 李四 1
戴眼镜男生 张三 1
不戴眼镜男生 李四 1