大数据全系列 教程
1869个小节阅读:467.2k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
一. 本地测试:
直接在WCDriver类中右键->Run,出现如下错误提示:
xxxxxxxxxx
Usage:hadoop jar xxx.jar com.itbaizhan.WCDriver <inpath> <outpath>
原因是我们在运行前没有设置输入和输出路径。
检查输出路径是否存在,如果存在,则删除
xxxxxxxxxx
[root@node1 ~]# hdfs dfs -ls /wordcount
Found 2 items
drwxr-xr-x - root supergroup 0 2021-10-28 09:53 /wordcount/input
drwxr-xr-x - root supergroup 0 2021-10-28 10:33 /wordcount/output
[root@node1 ~]# hdfs dfs -rm /wordcount/output
rm: `/wordcount/output': Is a directory
[root@node1 ~]# hdfs dfs -rm -r /wordcount/output
Deleted /wordcount/output
设置输入输出路径
填写完输入输出路径后,点击 Apply 然后再点击OK。
IDEA中运行WCDriver:直接在WCDriver类中右键->Run
查看运行结果:
xxxxxxxxxx
[root@node1 ~]# hdfs dfs -ls /wordcount/output
Found 2 items
-rw-r--r-- 3 root supergroup 0 2021-10-29 01:53 /wordcount/output/_SUCCESS
-rw-r--r-- 3 root supergroup 41 2021-10-29 01:53 /wordcount/output/part-r-00000
[root@node1 ~]# hdfs dfs -cat /wordcount/output/part-r-00000
andy 3
hello 5
joy 3
mark 1
rose 2
tom 2
出现如上所示结果,表明我们的程序是没有问题的,也成功执行了。