更新时间:2022-02-22 GMT+08:00
默认配置修改
默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。
配置名 |
描述 |
样例值 |
spark.sql.datasource.opentsdb.host |
连接的TSD进程地址 |
空(默认值) xx.xx.xx.xx,多个地址间用英文逗号间隔。 |
spark.sql.datasource.opentsdb.port |
TSD进程端口号 |
4242(默认值) |
spark.sql.datasource.opentsdb.randomSeed |
当spark.sql.datasource.opentsdb.host配置多个地址时,是否使用随机种子。配置为否时,所有在相同节点的executor会连接相同的host,这样可以配合spark.blacklist.enabled=true来实现Task容错。 |
false(默认) |
示例
在spark-sql,spark-beeline执行set语句后,再执行其他SQL:
set spark.sql.datasource.opentsdb.host = 192.168.2.143,192.168.2.158; SELECT * FROM opentsdb_table ;
父主题: Spark对接OpenTSDB