大数据全系列 教程
1869个小节阅读:466.8k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
在Flink Scala项目的程序代码中,创建Catalog,与Hive集成。
xxxxxxxxxx
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-hive_2.12</artifactId>
<version>1.14.6</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>3.1.2</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-metastore</artifactId>
<version>3.1.2</version>
</dependency>
<dependency>
<groupId>org.apache.thrift</groupId>
<artifactId>libthrift</artifactId>
<version>0.9.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
xxxxxxxxxx
package com.itbaizhan.flink.scala.hive
import org.apache.flink.table.api.{EnvironmentSettings, TableEnvironment}
import org.apache.flink.table.catalog.hive.HiveCatalog
object SqlHiveSourceDemo {
def main(args: Array[String]): Unit = {
val settings = EnvironmentSettings
.newInstance()
.inStreamingMode()
.build()
val tableEnv: TableEnvironment = TableEnvironment.create(settings)
//1.创建HiveCatalog对象,并指定相关配置参数
val hiveCatalog = new HiveCatalog(
"hiveCatalog",
"default",
"src/main/resources/hive-conf",
"src/main/resources/hdfs-conf",
"3.1.2"
)
//2.注册Catalog
tableEnv.registerCatalog("hive_catalog",hiveCatalog)
//3.使用Catalog
tableEnv.useCatalog("hive_catalog")
//4.查询所有的数据库实例
tableEnv.executeSql("show databases").print()
//5.查询所有的数据库实例flink_sql_db下所有的表
tableEnv.executeSql("use flink_sql_db")
tableEnv.executeSql("show tables").print()
//6.创建表
//tableEnv.executeSql("...")
//7.查询表中的数据
//tableEnv.executeSql("select * from flink_sql_db.tableName").print()
}
}