基线运维约束限制
使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求:
MRS约束限制:
- 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。
- DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果是安全模式(Kerberos认证为开启状态),需要增加MRS Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下:
- 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
- 在左侧的导航列表中选择“Hive > HiveServer”。在配置项中,给参数“hive.security.authorization.sqlstd.confwhitelist”添加配置项值“mapreduce.job.priority”即可。
图1 hive.security.authorization.sqlstd.confwhitelist配置
- 保存并重启Hive服务。
MRS节点优先级功能包含节点:MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Flink Job、MRS MapReduce。
要想hive的优先级生效,请联系运维工程师打开MRS Hive优先级配置项的开关。
- 使用基线运维之前,需要在MRS服务创建Topic,具体操作请参见KafkaUI创建Topic。
DLI约束限制:
DLI提供的设置作业优先级功能,当资源不充足时,可以优先满足优先级较高的作业的计算资源。DLI优先级功能包含DLI Flink Job、DLI SQL和DLI Spark三个作业算子。
- 只有运行在弹性资源池上的作业支持设置作业优先级。
- 弹性资源池上的SQL作业支持作业优先级。
- Spark 2.4.5及以上版本的作业支持设置作业优先级。
- Flink 1.12及以上版本的作业支持设置作业优先级。