文档首页/
MapReduce服务 MRS/
组件操作指南(LTS版)(巴黎区域)/
使用Spark2x/
Spark2x性能调优/
SQL和DataFrame调优/
多并发JDBC客户端连接JDBCServer
更新时间:2022-12-14 GMT+08:00
多并发JDBC客户端连接JDBCServer
操作场景
JDBCServer支持多用户多并发接入,但当并发任务数量较高的时候,默认的JDBCServer配置将无法支持,因此需要进行优化来支持该场景。
操作步骤
- 设置JDBCServer的公平调度策略。
Spark默认使用FIFO(First In First Out)的调度策略,但对于多并发的场景,使用FIFO策略容易导致短任务执行失败。因此在多并发的场景下,需要使用公平调度策略,防止任务执行失败。
- 在Spark中设置公平调度,具体请参考http://spark.apache.org/docs/3.1.1/job-scheduling.html#scheduling-within-an-application
- 在JDBC客户端中设置公平调度。
- 设置BroadCastHashJoin的超时时间。
父主题: SQL和DataFrame调优