更新时间:2024-04-29 GMT+08:00

基线运维约束限制

使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求:

DWS约束限制:

  • DataArts Studio的DWS节点(DWS SQL节点)支持优先级功能,需要先设置优先级的等级参数,使用管理员权限执行如下SQL:
    SELECT * FROM gs_wlm_set_queryband_action('Priority=1','priority=low');
    其中DWS优先级1对应DLF基线运维作业的优先级的1。
    SELECT * FROM gs_wlm_set_queryband_action('Priority=2','priority=medium');
    其中DWS优先级2对应DLF基线运维作业的优先级的2、3和4。
    SELECT * FROM gs_wlm_set_queryband_action('Priority=3','priority=high');
    其中DWS优先级3对应DLF基线运维作业的优先级的5。

MRS约束限制:

  • 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。
  • DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果是安全模式(Kerberos认证为开启状态),需要增加MRS Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下:
    1. 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
    2. 在左侧的导航列表中选择“Hive > HiveServer”。在配置项中,给参数“hive.security.authorization.sqlstd.confwhitelist”添加配置项值“mapreduce.job.priority”即可。
      图1 hive.security.authorization.sqlstd.confwhitelist配置
    3. 保存并重启Hive服务。

      MRS节点优先级功能包含节点:MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Flink Job、MRS MapReduce。

      要想hive的优先级生效,请联系运维工程师打开MRS Hive优先级配置项的开关。

  • 使用基线运维之前,需要在MRS服务创建Topic,具体操作请参见KafkaUI创建Topic

DLI约束限制:

DLI提供的设置作业优先级功能,当资源不充足时,可以优先满足优先级较高的作业的计算资源。DLI优先级功能包含DLI Flink Job、DLI SQL和DLI Spark三个作业算子。

  • 只有运行在弹性资源池上的作业支持设置作业优先级。
  • 弹性资源池上的SQL作业支持作业优先级。
  • Spark 2.4.5及以上版本的作业支持设置作业优先级。
  • Flink 1.12及以上版本的作业支持设置作业优先级。