大数据全系列 教程
1869个小节阅读:467.5k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
7.9 代码测试
检查哪个节点是ActiveNameNode,代码要与之对应
xxxxxxxxxx
public void setConf(Configuration conf) {
......
//设置defaultFS,node1还是node2要看你的hdfs集群的active namenode是谁
conf.set("fs.defaultFS","hdfs://node1:9820");
......
}
直接运行AnalyserLogDataRunner,出现异常,提示信息如下:
xxxxxxxxxx
使用昨天的日期作为分析的时间字符串。。。2022-01-23
执行数据清洗job出现异常
java.lang.RuntimeException: 输入路径不存在:/log/20220123/
访问:http://node1:9870// 参考hdfs的/log目录下有哪天的日志数据
设置参数运行:运行依然抛出相同的异常,日期格式不正确,默认还是访问处理昨天的,依然不存在。
设置参数日期格式错误的
xxxxxxxxxx
![](image/etl-test1.png)
xxxxxxxxxx
![](image/etl-test2.png)
再次运行程序,日期格式错误,依然使用默认的日期(昨天)
```
使用昨天的日期作为分析的时间字符串。。。2022-01-23
执行数据清洗job出现异常
java.lang.RuntimeException: 输入路径不存在:/log/20220123/
```
xxxxxxxxxx
![](image/etl-test3.png)
再次运行程序,检查数据是否插入到hbase的表了。并且检查输入数据、输出数据、过滤数据是否正确。
出现异常:
xxxxxxxxxx
Job job_local1354852447_0001 running in uber mode : false
map 0% reduce 0%
解析日志数据出现异常,数据:192.168.20.1•1642391189.958•node1•/log.gif?en=e_pv&p_url=http%3A%2F%2Flocalhost%3A8080%2Fdemo.jsp&tt=%E6%B5%8B%E8%AF%95%E9%A1%B5%E9%9D%A21&ver=1&pl=website&sdk=js&u_ud=759691A1-0435-489F-B404-D41E4D436001&u_sd=9C22AF2A-0B28-4620-8243-5ACBFCA23D5C&c_time=1642391189739&l=zh-CN&b_iev=Mozilla%2F5.0%20(Windows%20NT%2010.0%3B%20Win64%3B%20x64)%20AppleWebKit%2F537.36%20(KHTML%2C%20like%20Gecko)%20Chrome%2F97.0.4692.71%20Safari%2F537.36&b_rst=1920*1080
java.lang.IllegalArgumentException: No enum constant cn.itbaizhan.common.EventLogConstants.EventEnum.e_pv
at java.lang.Enum.valueOf(Enum.java:238)
at cn.itbaizhan.common.EventLogConstants$EventEnum.valueOf(EventLogConstants.java:13)