文档首页> 表格存储服务 CloudTable> 用户指南> Doris用户指南> Doris集群管理> 管理集群> Doris参数配置
更新时间：2024-04-30 GMT+08:00
查看PDF
分享

Doris参数配置

操作场景

创建完Doris集群后，用户可以在表格存储服务控制台中多次修改集群Doris配置参数，对集群的性能进行调优。

  • 修改集群静态参数需要重启集群，可能会导致业务的中断。
  • 集群无运行中的任务时，才能修改参数。
  • CloudTable Doris集群重启过程中，不允许修改集群参数。

Doris修改参数步骤

  1. 登录CloudTable管理控制台。
  2. 单击管理控制台左上角的，选择区域。
  3. 在左侧导航栏中，单击“集群管理”。
  4. 在集群列表中找到所需要的集群，单击集群名称，进入“参数配置”页面。
  5. 在“参数配置”中单击“参数配置”页签，对Doris参数进行修改。
  6. 选择修改的节点（FE、BE节点）后，选中需要修改的参数，在“参数值”列单击。
  7. 在修改框中输入新值，单击，系统提示“参数修改为' xx '成功，请保存本次修改值”，并且修改的参数值后显示红色*。

    如果单击，则取消修改。

    图1 修改参数

  8. 单击参数列表左上方的“保存修改”，弹出“保存修改”对话框。
  9. 在“保存修改”对话框中，确认参数修改信息正确后，然后单击“确定”。

    图2 保存修改
    • 单击确定后，在单击右上角的刷新按钮，如果参数表状态显示“已生效”，集群不用重启。如果显示“未生效”，用户需要手动重启集群才能使修改的参数生效。
    • 单击参数配置页签左上角的重启按钮，集群重启。
      图3 静态参数修改图
      静态参数修改完成后，需要手动重启集群，参数才能生效。动态参数修改后生效，不用重启集群。
      图4 重启
    • 如果修改的参数值不正确，可以在“保存修改”对话框中单击“一键还原”，取消修改参数值。

  10. 参数修改完成后，可以单击“修改历史”页签查看参数修改的历史。“修改历史”页面中显示如下信息。

    表1 参数说明

    参数

    参数说明

    参数名

    被修改过的参数名。

    旧值

    修改前的参数值。

    新值

    修改后的参数值。

    修改时间

    记录用户修改参数值的时间。

Doris参数修改状态

表2 状态

状态

状态说明

未更改

Doris未更改的参数。

未应用

Doris参数已修改但是未应用。

未生效

Doris静态参数，修改保存后需要重启集群。

已生效

Doris参数修改后已生效：

  • 静态参数修改保存后，集群需要重启才能生效。
  • 动态参数修改保存后生效。

FE节点参数说明

表3 FE节点参数说明

参数名

参数值

静态参数

参数类型

状态

单位

参数范围

参数默认值

参数描述

max_routine_load_job_num

100

否

int

未更改

-

（0，300）

100

该参数限制的例行导入作业的总数，包括NEED_SCHEDULED, RUNNING, PAUSE这些状态。超过后，不能在提交新的作业。

use_new_tablet_scheduler

true

是

boolean

未更改

-

[true，false]

true

是否启用新的副本调度方式。

max_broker_concurrency

10

否

int

未更改

-

（5，30）

10

broker scanner的最大并发数。

tablet_repair_delay_factor_second

60

否

long

未更改

s

(0,9223372036854775807)

60

对于不同的调度优先级，我们会延迟不同的时间后开始修复。以防止因为例行重启、升级等过程中，产生大量不必要的副本修复任务。此参数为一个基准系数。对于HIGH优先级，延迟为基准系数 * 1；对于NORMAL优先级，延迟为基准系数 * 2；对于LOW优先级，延迟为基准系数 * 3。即优先级越低，延迟等待时间越长。如果用户想尽快修复副本，可以适当降低该参数。

schedule_slot_num_per_path

2

是

int

未更改

-

（0，10）

2

默认分配给每块磁盘用于副本修复的slot数目。该数目表示一块磁盘能同时运行的副本修复任务数。如果想以更快的速度修复副本，可以适当调高这个参数。单数值越高，可能对IO影响越大。

disable_balance

false

否

boolean

未更改

-

[true，false]

false

控制是否关闭均衡功能。当副本处于均衡过程中时，有些功能，如ALTER TABLE等将会被禁止。而均衡可能持续很长时间。因此，如果用户希望尽快进行被禁止的操作。可以将该参数设为true，以关闭均衡调度。

balance_load_score_threshold

0.1

否

double

未更改

-

（0，1）

0.1

集群balance百分比的阈值。默认为0.1，即10%。当一个BE节点的load score，不高于或不低于平均load score的10%时，我们认为这个节点是均衡的。如果想让集群负载更加平均，可以适当调低这个参数。

dynamic_partition_check_interval_seconds

600

否

long

未更改

s

(0,9223372036854775807

600

动态分区线程的执行频率，默认为600(10分钟)，即每10分钟进行一次调度。

max_routine_load_task_concurrent_num

5

否

int

未更改

-

（0，10）

5

该参数限制了一个例行导入作业最大的子任务并发数。建议维持默认值。设置过大，可能导致同时并发的任务数过多，占用集群资源。

dynamic_partition_enable

true

否

boolean

未更改

-

[true，false]

true

是否开启Doris的动态分区功能。默认为false，即关闭。该参数只影响动态分区表的分区操作，不影响普通表。

max_bytes_per_broker_scanner

3221225472

否

long

未更改

byte

(0,9223372036854775807)

3221225472

broker scanner程序可以在一个broker加载作业中处理的最大字节数。通常，每个BE都有一个broker scanner程序单个BE处理的数据量的最大值,默认为3G。如果单个BE导入的数据量>max_bytes_per_broker scanner会报错,需要调大参数max_bytes per_broker_scanner, 或者调整导入并发数。具体计算逻辑如下: 本次导入并发数=Math.min(源文件大小/最小处理量,最大并发数,当前BE节点个数) 本次导入单个BE的处理量=源文件大小/本次导入的并发数 其中:最小处理量 min_bytes_per_broker scanner默认为64M,最大并发数max broker concurrency默认为10。

BE节点参数说明

表4 BE节点参数说明

参数名

参数值

静态参数

参数类型

状态

单位

参数范围

参考缺省值

参数描述

max_consumer_num_per_grou

3

是

int

未更改

-

（0，10）

3

一个数据消费者组中的最大消费者数量，用于routine load。

clone_worker_count

3

是

int

未更改

-

（0，10）

3

用于执行克隆任务的线程数，其值影响副本均衡的速度。在磁盘压力不大的情况下，可以通过调整该参数来加快副本均衡。
父主题： 管理集群
分享：

    相关文档

    相关产品