更新时间：2024-07-02 GMT+08:00
Spark on OBS性能调优
配置场景
Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。
配置描述
在Spark客户端的“core-site.xml”配置文件中修改配置。
|
参数 |
描述 |
默认值 |
|---|---|---|
|
fs.obs.metrics.switch |
上报OBS监控指标开关：
|
true |
|
fs.obs.metrics.consumer |
指定OBS监控指标的处理方式。
要使用OBS监控功能，需确保上报OBS监控指标开关打开。 |
org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider |
父主题： 使用Spark/Spark2x
