更新时间:2024-07-19 GMT+08:00

默认配置修改

默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。

表1 OpenTSDB数据源相关配置

配置名

描述

样例值

spark.sql.datasource.opentsdb.host

连接的TSD进程地址

空(默认值)

xx.xx.xx.xx,多个地址间用英文逗号间隔。

spark.sql.datasource.opentsdb.port

TSD进程端口号

4242(默认值)

spark.sql.datasource.opentsdb.randomSeed

当spark.sql.datasource.opentsdb.host配置多个地址时,是否使用随机种子。配置为否时,所有在相同节点的executor会连接相同的host,这样可以配合spark.blacklist.enabled=true来实现Task容错。

false(默认)

示例

在spark-sql,spark-beeline执行set语句后,再执行其他SQL:

set spark.sql.datasource.opentsdb.host = 192.168.2.143,192.168.2.158;
SELECT * FROM opentsdb_table ;