更新时间:2024-10-16 GMT+08:00
Spark运维管理
- 快速配置Spark参数
- Spark常用配置参数
- Spark日志介绍
- 获取运行中Spark应用的Container日志
- 调整Spark日志级别
- 配置WebUI上查看Container日志
- 配置WebUI上显示的Lost Executor信息的个数
- 配置JobHistory本地磁盘缓存
- 配置Spark Eventlog日志回滚
- 增强有限内存下的稳定性
- 配置YARN-Client和YARN-Cluster不同模式下的环境变量
- Hive分区修剪的谓词下推增强
- 配置列统计值直方图Histogram用以增强CBO准确度
- CarbonData首查优化工具
- 消减Spark Insert Overwrite自读自写风险
父主题: 使用Spark/Spark2x