Spark on OBS性能调优

操作场景

Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。

配置描述

1. 安装Spark客户端。

   详细操作请参考安装MRS客户端。

2. 使用客户端安装用户登录Spark客户端节点。
   在Spark客户端的“{客户端安装目录}/Spark/spark/conf/core-site.xml”配置文件中修改配置。

   表1 参数介绍

   参数	描述	默认值
   fs.obs.metrics.switch	上报OBS监控指标开关： true表示打开 false表示关闭	true
   fs.obs.metrics.consumer	指定OBS监控指标的处理方式。 org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider：表示收集统计OBS监控指标 org.apache.hadoop.fs.obs.DefaultMetricsConsumer：表示不收集OBS监控指标 要使用OBS监控功能，需确保上报OBS监控指标开关打开。	org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider