文档首页/
    
      
      MapReduce服务 MRS/
      
      
        
        
        用户指南(吉隆坡区域)/
        
        
        MRS集群组件操作指导/
        
        
        使用Spark2x/
        
        
        Spark2x性能调优/
        
        
        SQL和DataFrame调优/
        
      
      多并发JDBC客户端连接JDBCServer
    
  
  
    
        更新时间:2024-09-30 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
多并发JDBC客户端连接JDBCServer
操作场景
JDBCServer支持多用户多并发接入,但当并发任务数量较高的时候,默认的JDBCServer配置将无法支持,因此需要进行优化来支持该场景。
操作步骤
- 设置JDBCServer的公平调度策略。
    Spark默认使用FIFO(First In First Out)的调度策略,但对于多并发的场景,使用FIFO策略容易导致短任务执行失败。因此在多并发的场景下,需要使用公平调度策略,防止任务执行失败。
- 在Spark中设置公平调度,具体请参考http://archive.apache.org/dist/spark/docs/3.1.1/job-scheduling.html#scheduling-within-an-application
 - 在JDBC客户端中设置公平调度。
 
 - 设置BroadCastHashJoin的超时时间。
 
   父主题: SQL和DataFrame调优