文档首页/ MapReduce服务 MRS/ 组件操作指南（安卡拉区域）/ 使用Spark/ Spark性能调优/ Spark on OBS调优
更新时间：2024-11-29 GMT+08:00
查看PDF
分享

Spark on OBS调优

配置场景

Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。

配置描述

在Spark客户端的“core-site.xml”配置文件中修改配置。
表1 参数介绍

参数

描述

默认值

fs.obs.metrics.switch

上报OBS监控指标开关：

  • true表示打开
  • false表示关闭

true

fs.obs.metrics.consumer

指定OBS监控指标的处理方式。

  • org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider：表示收集统计OBS监控指标
  • org.apache.hadoop.fs.obs.DefaultMetricsConsumer：表示不收集OBS监控指标

要使用OBS监控功能，需确保上报OBS监控指标开关打开。

org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider
父主题： Spark性能调优