大数据全系列 教程
1869个小节阅读:464.9k
目录
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
运行命令
xxxxxxxxxx
/opt/flink-yarn/bin/flink run-application \
-t yarn-application \
-Djobmanager.memory.process.size=1024m \
-Dtaskmanager.memory.process.size=1024m \
-Dtaskmanager.numberOfTaskSlots=1 \
/opt/flink-yarn/examples/batch/WordCount.jar \
--input hdfs://mycluster/wordcount/input
参数介绍:
-t:指定运行模式 "yarn-application","kubernetes-application"
-D
: 指定通用的运行配置,比如 jobmanager/taskmanager 内存、checkpoint 时间间隔等。
注意:控制台不在输出结果。
查看UI界面:http://node3:8088/
点击id
由于main方法在JobManager(也就是NM的容器Container)中执行,当Flink Job执行完成以后,启动MRJobHistoryServer
历史服务器,查看AppMaster日志信息。
xxxxxxxxxx
[root@node1 ~]# mapred --daemon start historyserver
关闭MRJobHistoryServer
xxxxxxxxxx
[root@node1 ~]# mapred --daemon stop historyserver