更新时间:2022-12-14 GMT+08:00

Spark on OBS调优

配置场景

Spark on OBS在小批量频繁请求OBS的场景下,可以通过关闭OBS监控提升性能。

配置描述

在Spark客户端的“core-site.xml”配置文件中修改配置。
表1 参数介绍

参数

描述

默认值

fs.obs.metrics.switch

上报OBS监控指标开关:

  • true表示打开
  • false表示关闭

true

fs.obs.metrics.consumer

指定OBS监控指标的处理方式。

  • org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider:表示收集统计OBS监控指标
  • org.apache.hadoop.fs.obs.DefaultMetricsConsumer:表示不收集OBS监控指标

要使用OBS监控功能,需确保上报OBS监控指标开关打开。

org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider