文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）(巴黎区域)/ 使用Spark2x/ Spark2x性能调优/ Spark on OBS调优
更新时间：2022-12-14 GMT+08:00
查看PDF
分享

Spark on OBS调优

配置场景

Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。

配置描述

在Spark客户端的“core-site.xml”配置文件中修改配置。
表1 参数介绍

参数

描述

默认值

fs.obs.metrics.switch

上报OBS监控指标开关：

  • true表示打开
  • false表示关闭

true

fs.obs.metrics.consumer

指定OBS监控指标的处理方式。

  • org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider：表示收集统计OBS监控指标
  • org.apache.hadoop.fs.obs.DefaultMetricsConsumer：表示不收集OBS监控指标

要使用OBS监控功能，需确保上报OBS监控指标开关打开。

org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider
父主题： Spark2x性能调优