大数据全系列 教程
1869个小节阅读:465.3k
目录
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
注释掉:.master("local[*]")
将打包好的jar包上传到node2的/root目录下。
node3上传到hdfs文件系统的/目录下
xxxxxxxxxx
[root@node3 ~]# hdfs dfs -put student_infos /
[root@node3 ~]# hdfs dfs -put student_score /
或
xxxxxxxxxx
[root@node3 ~]# hdfs dfs -put student_infos student_score /
node2上执行spark-submit(yarn client模式)
xxxxxxxxxx
spark-submit --master yarn --deploy-mode client --driver-memory 512M --executor-memory 512M --num-executors 3 --class com.itbaizhan.sql.SSRWHive /root/sparksql.jar
yarn cluster模式
xxxxxxxxxx
spark-submit --master yarn --deploy-mode cluster --driver-memory 512M --executor-memory 512M --num-executors 3 --class com.itbaizhan.sql.SSRWHive /root/sparksql.jar
结果查看:
xxxxxxxxxx
+---------+------------------+-----------+
|namespace| tableName|isTemporary|
+---------+------------------+-----------+
| spark|good_student_infos| false|
| spark| student_infos| false|
| spark| student_score| false|
+---------+------------------+-----------+
+------+---+
| name|age|
+------+---+
| tuhao| 19|
|diaosi| 20|
| dufu| 25|
+------+---+
+------+-----+
| name|score|
+------+-----+
| tuhao| 91|
|diaosi| 89|
| dufu| 95|
+------+-----+
+------+---+-----+
| name|age|score|
+------+---+-----+
| tuhao| 19| 91|
|diaosi| 20| 89|
| dufu| 25| 95|
+------+---+-----+
1. 关于Spark On Hive配置的相关操作描述错误的是:
A 在Spark的conf目录或项目的resources目录中,创建hive-site.xml,配置内容包含让Spark知道表的数据存放在位置和Hive thrift的uris。
B SparkSQL通过程序创建的表在Hive客户端可见。
C Hive客户端创建的表在SparkSQL的程序中可见。
D Spark On Hive表的数据只能在Hive端添加数据。
答案:
1=>D Spark端和Hive都可以添加数据。