更新时间:2026-05-22 GMT+08:00
分享

修改StarRocks集群参数配置

创建完StarRocks集群后,用户可以在表格存储服务控制台中多次修改集群的配置参数。根据参数的生效方式,包括静态参数和动态参数两类。静态参数在修改后需要重启集群才能生效,而动态参数则允许立即生效,无需重启集群。

使用限制

  • 修改集群静态参数需要重启集群,可能会导致业务的中断。
  • 集群无运行中的任务时,才能修改参数。
  • CloudTable StarRocks集群重启过程中,不允许修改集群参数。

修改StarRocks参数配置

  1. 登录表格存储服务控制台
  2. 在集群列表中找到所需要的集群,单击集群名称,进入“参数配置”页面。
  3. 在“参数配置”中单击“参数配置”页签,对StarRocks参数进行修改。
  4. 选择修改的节点(FE、BE或GLOBAL,相关参数详细介绍请参见BE相关参数说明FE相关参数说明GLOBAL相关参数说明)后,选中需要修改的参数,在“参数值”列单击
  5. 在修改框中输入新值,单击,系统提示“参数修改为xxx成功,请保存本次修改值”,并且修改的参数值后显示红色*

    如果单击,则取消修改。

    图1 修改参数

  6. 单击参数列表左上方的“保存修改”,弹出“保存修改”对话框。
  7. 在“保存修改”对话框中,确认参数修改信息正确后,然后单击“确定”。

    • 单击确定后,再单击右上角的刷新按钮,如果参数表状态显示“已生效”,集群不用重启。如果显示“未生效”,用户需要手动重启集群才能使修改的参数生效。
    • 单击参数配置页签左上角的重启按钮,集群重启或者返回集群列表页面重启集群。

      静态参数修改完成后,需要手动重启集群,参数才能生效。动态参数修改后生效,不用重启集群。

    • 如果修改的参数值不正确,可以在“保存修改”对话框中单击“一键还原”,取消修改参数值。

  8. 参数修改完成后,可以单击“修改历史”页签查看参数修改的历史。“修改历史”页面中显示如下信息。

    表1 参数说明

    参数

    参数说明

    参数名

    被修改过的参数名。

    旧值

    修改前的参数值。

    新值

    修改后的参数值。

    修改时间

    记录用户修改参数值的时间。

BE相关参数说明

表2 BE导入数据相关参数说明

参数名

静态参数

参数描述

push_worker_count_normal_priority

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:3
  • 描述:处理NORMAL优先级任务的导入线程数。

push_worker_count_high_priority

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:3
  • 描述:处理HIGH优先级任务的导入线程数。

transaction_publish_version_worker_count

  • 参数类型:int
  • 参数范围:[0,1024]
  • 参数默认值:0
  • 描述:发布版本的线程数。

clear_transaction_task_worker_count

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:1
  • 描述:用于清理事务任务的线程数。

load_data_reserve_hours

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:4
  • 单位:hours
  • 描述:小批量导入文件的保留时间。

load_error_log_reserve_hours

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:48
  • 单位:hours
  • 描述:导入任务错误日志的保留时长。

number_tablet_writer_threads

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:16
  • 描述:流式导入(Stream Load)使用的线程数。

streaming_load_max_mb

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:10240
  • 单位:MB
  • 描述:单个流式任务导入文件的最大大小。

streaming_load_rpc_max_alive_time_sec

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1200
  • 单位:s
  • 描述:流式导入RPC的最大存活时间。

load_process_max_memory_limit_bytes

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:107374182400
  • 单位:byte
  • 描述:单个节点上所有导入线程的最大内存限制(默认值为100GB)。

max_runnings_transactions_per_txn_map

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:100
  • 描述:每个事务映射(txn_map)中允许的最大并发事务数。

max_consumer_num_per_group

  • 参数类型:int
  • 参数范围:(0,10)
  • 参数默认值:3
  • 描述:Routine Load中,每个数据消费者组中的最大消费者数量。
表3 BE元数据和集群管理相关参数

参数名

静态参数

参数描述

txn_commit_rpc_timeout_ms

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:60000
  • 单位:ms
  • 描述:事务提交RPC的超时时间。
表4 BE查询任务相关参数说明

参数名

静态参数

参数描述

scanner_thread_pool_thread_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:48
  • 描述:存储引擎并发扫描线程池中线程的数量。

scanner_thread_pool_queue_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:102400
  • 描述:存储引擎可以接受的最大任务数。

scanner_row_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:16384
  • 描述:单次执行任务中,每个扫描线程返回的最大行数。

max_scan_key_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1024
  • 描述:一个查询任务最多可被拆分为的扫描键数量。

file_descriptor_cache_capacity

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:16384
  • 描述:文件描述符缓存的容量。

min_file_descriptor_number

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:60000
  • 描述:BE进程所需最低文件描述符限制。

index_stream_cache_capacity

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:10737418240
  • 单位:byte
  • 描述:用于缓存BloomFilter、Min/Max统计信息等的容量。

disable_storage_page_cache

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否禁用存储引擎中的页面缓存。

fragment_pool_thread_num_max

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4096
  • 描述:Fragment池中查询线程的最大数量(动态创建线程处理请求)。

fragment_pool_thread_num_min

  • 参数类型:int
  • 参数范围:[1,2147483648]
  • 参数默认值:64
  • 描述:Fragment池中查询线程的最小数量(动态创建线程处理请求)。

fragment_pool_queue_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:2048
  • 描述:节点可同时处理的最大并发查询请求数量。
表5 BE服务相关参数说明

参数名

静态参数

参数描述

num_threads_per_core

  • 参数类型:int
  • 参数范围:[1,10]
  • 参数默认值:3
  • 描述:每个CPU核启动的线程数。

compress_rowbatches

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否在BE之间RPC通信(用于查询层之间数据传输)过程中对RowBatch进行压缩。

serialize_batch

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否在BE之间RPC通信(用于查询层之间数据传输)过程中对RowBatch进行序列化。

thrift_rpc_timeout_ms

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5000
  • 单位:ms
  • 描述:Thrift RPC超时时间。

brpc_max_body_size

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:2147483648
  • 单位:byte
  • 描述:BRPC请求允许的最大Body大小(默认值为2GB)。

disable_column_pool

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否禁用列数据池(用于控制是否从内存池处理列数据)。

mem_limit

  • 参数类型:int
  • 参数范围:[50,100]
  • 参数默认值:90
  • 单位:%
  • 描述:BE进程内存上限(占系统总内存的百分比)。
表6 BE统计信息相关参数说明

参数名

静态参数

参数描述

report_task_interval_seconds

  • 参数类型:int
  • 参数范围:[10,2147483647]
  • 参数默认值:10
  • 单位:s
  • 描述:上报单个任务状态(创建表、删除表、导入数据、Schema变更等)的间隔时间。

report_disk_state_interval_seconds

  • 参数类型:int
  • 参数范围:[10,2147483647]
  • 参数默认值:60
  • 单位:s
  • 描述:磁盘状态上报间隔,用于上报磁盘状态和数据量。

report_tablet_interval_seconds

  • 参数类型:int
  • 参数范围:[10,2147483647]
  • 参数默认值:60
  • 单位:s
  • 描述:上报Tablet状态的时间间隔,每次上报所有Tablet的最新版本。

status_report_interval

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 单位:s
  • 描述:查询汇报Profile的间隔,用于FE收集查询统计信息。

periodic_counter_update_period_ms

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:500
  • 单位:ms
  • 描述:周期性计数器更新的间隔时间。
表7 BE数据存储相关参数说明

参数名

静态参数

参数描述

create_tablet_worker_count

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:3
  • 描述:创建Tablet时使用的线程数。

drop_tablet_worker_count

  • 参数类型:int
  • 参数范围:[0,1024]
  • 参数默认值:0
  • 描述:用于删除Tablet的线程数。

alter_tablet_worker_count

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:3
  • 描述:模式变更操作的线程数。

storage_medium_migrate_count

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:3
  • 描述:中等迁移(例如将热数据从SSD迁移到SATA)的线程数。

check_consistency_worker_count

  • 参数类型:int
  • 参数范围:[1,1024]
  • 参数默认值:1
  • 描述:计算Tablet校验和的线程数。

column_dictionary_key_ratio_threshold

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:0
  • 描述:字符串类型列中键比例的阈值。如果比例小于阈值,则使用字典压缩。

column_dictionary_key_size_threshold

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:0
  • 描述:字典压缩列大小的阈值。如果大小小于阈值,则使用字典压缩。

memory_limitation_per_thread_for_schema_change

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:2
  • 单位:GB
  • 描述:单个Schema Change操作中,每个线程允许的最大内存。

file_descriptor_cache_clean_interval

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:3600
  • 单位:s
  • 描述:文件描述符缓存清理的间隔时间。

disk_stat_monitor_interval

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 单位:s
  • 描述:监控磁盘状态的间隔时间。

unused_rowset_monitor_interval

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:30
  • 单位:s
  • 描述:清理过期Rowsets的间隔时间。

max_tablet_num_per_shard

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1024
  • 描述:每个分片(shard)中允许的最大Tablet数量,用于拆分Tablet,防止单个目录下子目录过多。

pending_data_expire_time_sec

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1800
  • 单位:s
  • 描述:未提交数据在存储引擎中保留的最长时间。

inc_rowset_expired_sec

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1800
  • 单位:s
  • 描述:在增量克隆场景中,导入数据的保留时间。

max_garbage_sweep_interval

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:3600
  • 单位:s
  • 描述:磁盘上垃圾回收(garbage sweep)的最大间隔时间。

min_garbage_sweep_interval

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:180
  • 单位:s
  • 描述:磁盘上垃圾回收(garbage sweep)的最小间隔时间。

snapshot_expire_time_sec

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:172800
  • 单位:s
  • 描述:清理快照文件的时间间隔,默认值为48小时。

trash_file_expire_time_sec

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:86400
  • 单位:s
  • 描述:清理回收站中的文件的时间间隔,默认值为24小时。

base_compaction_check_interval_seconds

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:60
  • 单位:s
  • 描述:BaseCompaction线程轮询检查的间隔时间。

base_compaction_num_threads_per_disk

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1
  • 描述:每个磁盘上BaseCompaction的线程数量。

base_cumulative_delta_ratio

  • 参数类型:double
  • 参数范围:(0,1)
  • 参数默认值:0.3
  • 描述:触发BaseCompaction的阈值比例,计算公式为累积delta文件总大小 / base文件大小。

base_compaction_interval_seconds_since_last_operation

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:86400
  • 单位:s
  • 描述:自上次BaseCompaction操作以来的最小触发间隔。

cumulative_compaction_check_interval_seconds

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1
  • 单位:s
  • 描述:CumulativeCompaction线程轮询检查的间隔时间。

min_cumulative_compaction_num_singleton_deltas

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:5
  • 描述:触发CumulativeCompaction所需的最小singleton delta文件数量。

max_cumulative_compaction_num_singleton_deltas

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:500
  • 描述:触发CumulativeCompaction的最大singleton delta文件数量上限。

cumulative_compaction_num_threads_per_disk

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1
  • 描述:每个磁盘上CumulativeCompaction的线程数量。

min_compaction_failure_interval_sec

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:120
  • 单位:s
  • 描述:Compaction失败后,最小重试间隔时间。

max_compaction_concurrency

  • 参数类型:int
  • 参数范围:[-1,2147483647]
  • 参数默认值:-1
  • 描述:并发Compaction(Base + Cumulative)的最大数量,“-1”表示无限制。

load_process_max_memory_limit_percent

  • 参数类型:int
  • 参数范围:[0,100]
  • 参数默认值:30
  • 单位:%
  • 描述:单个节点上所有导入线程的最大内存使用比例(占总内存的百分比)。

sync_tablet_meta

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否启用Tablet元数据同步。

tablet_meta_checkpoint_min_new_rowsets_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10
  • 描述:触发TabletMeta Checkpoint所需的最小新Rowset数量。

tablet_meta_checkpoint_min_interval_secs

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:600
  • 单位:s
  • 描述:TabletMeta Checkpoint之间的最小间隔时间。

tablet_map_shard_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:32
  • 描述:Tablet Map的分片数量(用于分区)。

max_base_compaction_num_singleton_deltas

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:100
  • 描述:Base Compaction中每个段最多可合并的段数量上限。

max_update_compaction_num_singleton_deltas

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:500
  • 描述:Primary Key表中单次合并的最大Rowset数量。

update_compaction_result_bytes

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:1073741824
  • 单位:byte
  • 描述:Primary Key表中单次Compaction的最大结果大小(默认值为1GB)。

clone_worker_count

  • 参数类型:int
  • 参数范围:(0,10)
  • 参数默认值:3
  • 描述:用于执行克隆任务的线程数,该值影响副本均衡的速度。在磁盘压力不大的情况下,可以通过调整该参数来加快副本均衡。

FE相关参数说明

表8 数据导入和导出相关参数说明

参数名

静态参数

参数描述

load_straggler_wait_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:300
  • 单位:s
  • 描述:在BE副本的数据导入延迟超过此值时,触发从其他副本克隆数据的容忍时间。

desired_max_waiting_jobs

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1024
  • 描述:最大待处理任务数。适用于所有任务类型,包括表创建、数据导入和Schema变更任务。

max_running_txn_num_per_db

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1000
  • 描述:最大并发数据导入任务数。

max_load_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:259200
  • 单位:s
  • 描述:数据导入任务的最大超时时间,适用于所有导入任务类型。

min_load_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:s
  • 单位:s
  • 描述:数据导入任务的最小超时时间,适用于所有导入任务类型。

load_parallel_instance_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1
  • 描述:单个BE上并发实例的数量。

history_job_keep_max_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:604800
  • 单位:s
  • 描述:历史任务的最大保留周期。

label_keep_max_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1000
  • 描述:在“label_keep_max_second”指定的周期内保留的最大导入任务数量。

label_keep_max_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1200
  • 单位:s
  • 描述:流式导入RPC的最大存活时间。

max_routine_load_batch_size

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:259200
  • 单位:s
  • 描述:导入任务标签的保留周期。

routine_load_task_consume_second

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:15
  • 单位:s
  • 描述:Routine Load任务消费数据的最大持续时间。

routine_load_task_timeout_second

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:60
  • 单位:s
  • 描述:Routine Load任务的超时时间。

max_tolerable_backend_down_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:0
  • 描述:允许的最大故障BE数量。如果超过此值,Routine Load任务将无法自动恢复。

period_of_auto_resume_min

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 单位:minutes
  • 描述:Routine Load任务自动恢复的间隔时间。

spark_load_default_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:86400
  • 单位:s
  • 描述:Spark Load任务的超时时间。

stream_load_default_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:600
  • 单位:s
  • 描述:Stream Load任务的超时时间。

max_stream_load_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:259200
  • 单位:s
  • 描述:Stream Load任务的最大超时时间。

insert_load_default_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:3600
  • 单位:s
  • 描述:INSERT INTO数据导入操作的超时时间。

broker_load_default_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:14400
  • 单位:s
  • 描述:Broker Load任务的超时时间。

export_max_bytes_per_be_per_task

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:268435456
  • 单位:byte
  • 描述:单个BE在单个导出任务中可导出的最大数据量(默认值为256MB)。

export_running_job_num_limit

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 描述:允许同时运行的数据导出任务的最大数量。

export_task_default_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:7200
  • 单位:s
  • 描述:数据导出任务的超时时间(默认值为2小时)。

report_queue_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:100
  • 描述:报告队列中磁盘、任务或Tablet报告的最大数量。

async_load_task_pool_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 描述:数据导入任务线程池的大小。

load_checker_interval_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 单位:s
  • 描述:数据导入任务的轮询间隔。

transaction_clean_interval_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:30
  • 单位:s
  • 描述:清理已完成事务的间隔时间。

label_clean_interval_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:14400
  • 单位:s
  • 描述:清理导入任务标签的间隔时间。

export_checker_interval_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 单位:s
  • 描述:数据导出任务的轮询间隔。

export_task_pool_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5
  • 描述:数据导出任务线程池的大小。

routine_load_unstable_threshold_second

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:3600
  • 单位:s
  • 描述:Routine Load任务中任何任务出现滞后时,任务状态将被设置为UNSTABLE。具体指被消费消息的时间戳与当前时间之差超过此阈值,且数据源中存在未消费消息。

max_routine_load_task_num_per_be

  • 参数类型:int
  • 参数范围:(0,300)
  • 参数默认值:16
  • 描述:该参数限制每个BE并发执行的Routine Load导入作业的数量上限。超过该参数值后,不能再提交新的作业。

max_routine_load_task_concurrent_num

  • 参数类型:int
  • 参数范围:(0,10)
  • 参数默认值:5
  • 描述:该参数限制了一个Routine Load导入作业最大的子任务并发数,建议保持默认值。设置过大可能导致同时并发的任务数过多,占用集群资源。

max_broker_load_job_concurrency

  • 参数类型:int
  • 参数范围:(0,30)
  • 参数默认值:5
  • 描述:Broker Load导入作业的最大并发数。

min_bytes_per_broker_scanner

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:67108864
  • 单位:byte
  • 描述:单个Broker Load实例处理的最小数据量。
表9 慢查询相关参数说明

参数名

静态参数

参数描述

qe_slow_log_ms

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:5000
  • 单位:ms
  • 描述:慢查询阈值,即响应时间超过此值的查询将被记录为慢查询。
表10 FE元数据与集群管理相关参数说明

参数名

静态参数

参数描述

catalog_try_lock_timeout_ms

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:5000
  • 单位:ms
  • 描述:获取目录锁的超时时间。

ignore_unknown_log_id

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:在FE回滚到较早版本时,是否忽略未知的日志ID。
    • true:忽略未知的日志ID。
    • false:如果存在未知的日志ID,则退出并报错。

ignore_meta_check

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否忽略元数据缺失。

drop_backend_after_decommission

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否在BE节点下线后删除该节点。
    • true:下线后立即删除BE节点。
    • false:下线后保留BE节点。

db_used_data_quota_update_interval_secs

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:300
  • 单位:s
  • 描述:数据库配额更新的间隔时间。

heartbeat_mgr_threads_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:8
  • 描述:心跳管理器运行心跳任务的线程数。

heartbeat_mgr_blocking_queue_size

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1024
  • 描述:存储心跳管理器运行的心跳任务的阻塞队列大小。

bdbje_heartbeat_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:30
  • 单位:s
  • 描述:基于BDB JE的FE的心跳超时时间。

bdbje_lock_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1
  • 单位:s
  • 描述:基于BDB JE的FE的锁超时时间。

max_bdbje_clock_delta_ms

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:10000
  • 单位:ms
  • 描述:Leader FE与Follower或Observer FE之间允许的最大时钟偏移。

txn_rollback_limit

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:100
  • 描述:可回滚的最大事务数量。

bdbje_replica_ack_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10
  • 单位:s
  • 描述:Leader FE等待Follower FE的ACK消息的最大时间。

meta_delay_toleration_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:300
  • 单位:s
  • 描述:Follower和Observer FE相对于Leader FE允许的最大元数据延迟时间。
表11 FE查询任务相关参数说明

参数名

静态参数

参数描述

expr_children_limit

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10000
  • 描述:查询任务中允许的最大IN谓词数量。

max_allowed_in_element_num_of_delete

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10000
  • 描述:DELETE语句中IN谓词允许的最大元素数量。

enable_decimal_v3

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否启用DECIMAL V3数据类型。

enable_sql_blacklist

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否启用SQL查询黑名单,启用后黑名单中的查询将无法执行。

max_partitions_in_one_batch

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:4096
  • 描述:单次批处理中可创建的最大分区数量。

max_query_retry_time

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:2
  • 描述:FE上允许的最大查询重试次数。

max_create_table_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:600
  • 单位:s
  • 描述:创建表的最大超时时间。

max_running_rollup_job_num_per_table

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1
  • 描述:每个表允许并发运行的Rollup任务的最大数量。

max_planner_scalar_rewrite_num

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:100000
  • 描述:优化器重写ScalarOperator的最大次数。

enable_local_replica_selection

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:优化器是否优先选择与FE共享相同IP地址的BE上的Tablet副本。

max_distribution_pruner_recursion_depth

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:100
  • 描述:分区剪枝的最大递归深度。

publish_version_interval_ms

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10
  • 单位:ms
  • 描述:发布版本验证任务的间隔时间。

statistic_cache_columns

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:100000
  • 描述:统计表中缓存的最大行数。

dynamic_partition_enable

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否开启动态分区功能。该参数只影响动态分区表的分区操作,不影响普通表。

dynamic_partition_check_interval_seconds

  • 参数类型:long
  • 参数范围:(0,9223372036854775807)
  • 参数默认值:600
  • 单位:s
  • 描述:动态分区线程的执行频率,默认为值为10分钟,即每10分钟进行一次调度。

big_sql_defend_enable

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否开启SQL防御功能。只有开启该功能后,创建的SQL防御规则才会生效。
表12 FE服务相关参数说明

参数名

静态参数

参数描述

thrift_backlog_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1024
  • 描述:Thrift服务器的积压队列长度。

thrift_server_max_worker_threads

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4096
  • 描述:Thrift服务器支持的最大工作线程数。

thrift_client_timeout_ms

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:5000
  • 单位:ms
  • 描述:空闲Thrift连接的超时时间。如果在此时间内未发送请求,连接将关闭。

brpc_idle_wait_max_time

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10000
  • 单位:ms
  • 描述:BRPC连接的最大空闲时间(默认值为10秒)。

mysql_service_nio_enabled

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否启用MySQL服务器的异步I/O。

mysql_service_io_threads_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4
  • 描述:MySQL服务器处理I/O事件的最大线程数。

mysql_nio_backlog_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1024
  • 描述:MySQL服务器的积压队列长度。

max_mysql_service_task_threads_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4096
  • 描述:MySQL服务器处理任务的最大线程数。

max_connection_scheduler_threads_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4096
  • 描述:连接调度器支持的最大线程数。

qe_max_connection

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4096
  • 描述:每个FE允许的最大连接数。
表13 FE其他相关参数说明

参数名

静态参数

参数描述

plugin_enable

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否启用插件框架。需注意,插件仅可在Leader FE上安装或卸载。

max_small_file_number

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:100
  • 描述:允许存储的小文件最大数量。

max_small_file_size_bytes

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:1048576
  • 单位:byte
  • 描述:小文件的最大大小(默认值为1MB)。

backup_job_default_timeout_ms

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:86400000
  • 单位:ms
  • 描述:备份任务的超时时间(默认值为1天)。

max_agent_task_threads_num

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4096
  • 描述:代理任务线程池中的最大线程数。

hive_meta_load_concurrency

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:4
  • 描述:加载Hive元数据的最大并发线程数。

hive_meta_cache_refresh_interval_s

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:60
  • 单位:s
  • 描述:刷新Hive外部表元数据缓存的间隔时间。

hive_meta_cache_ttl_s

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:86400
  • 描述:Hive外部表元数据缓存的过期时间(默认值为2 小时)。

hive_meta_store_timeout_s

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:10
  • 描述:连接到Hive Metastore的超时时间。

enable_metric_calculator

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否启用周期性指标收集。
表14 FE统计信息相关参数说明

参数名

静态参数

参数描述

statistic_manager_sleep_time_sec

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:60
  • 单位:s
  • 描述:统计相关元数据的调度间隔。

statistic_collect_interval_sec

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:300
  • 单位:s
  • 描述:自动统计收集任务中检查数据更新的间隔。

statistic_update_interval_sec

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:86400
  • 单位:s
  • 描述:统计信息更新的默认间隔。

statistic_sample_collect_rows

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:200000
  • 描述:统计收集过程中采样的行数。

enable_statistic_collect

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:true
  • 描述:是否启用统计收集。
表15 FE数据存储相关参数说明

参数名

静态参数

参数描述

enable_strict_storage_medium_check

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否在创建表时检查BE的存储介质类型。

capacity_used_percent_high_water

  • 参数类型:double
  • 参数范围:(0,1)
  • 参数默认值:0.75
  • 单位:%
  • 描述:BE磁盘使用率的上限阈值。当磁盘使用率超过75%时,将不再向该BE发送新表创建或克隆任务,直到使用率降至阈值以下。

storage_high_watermark_usage_percent

  • 参数类型:int
  • 参数范围:[0,100]
  • 参数默认值:80
  • 单位:%
  • 描述:BE目录的最大空间使用率。

storage_min_left_capacity_bytes

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:21411921920
  • 单位:byte
  • 描述:BE目录中保留的最小剩余空间(默认值为2GB)。

storage_flood_stage_left_capacity_bytes

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:9223372036854775807
  • 单位:byte
  • 描述:BE目录的剩余空间阈值。如果剩余空间低于此数值,将拒绝执行加载或恢复任务。

storage_flood_stage_usage_percent

  • 参数类型:int
  • 参数范围:[0,100]
  • 参数默认值:90
  • 单位:%
  • 描述:BE目录的洪水阶段使用率阈值。如果使用率超过此值,将拒绝加载或恢复任务。

catalog_trash_expire_second

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:86400
  • 单位:s
  • 描述:删除表或数据库后,回收站中元数据的保留时间(默认值为1天)。元数据过期后无法恢复。

alter_table_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:86400
  • 单位:s
  • 描述:表结构变更任务的超时时间(默认值为1天)。

balance_load_disk_safe_threshold

  • 参数类型:double
  • 参数范围:[0,1]
  • 参数默认值:0.5
  • 单位:%
  • 描述:disk_and_tablet平衡策略的安全磁盘使用率阈值。如果所有BE磁盘使用率均低于50%,则认为磁盘使用已平衡。

balance_load_score_threshold

  • 参数类型:double
  • 参数范围:[0,1]
  • 参数默认值:0.1
  • 单位:%
  • 描述:Tablet平衡的负载分数阈值。
    • be_load_score策略:负载低于平均值10%的BE处于低负载状态;高于平均值10%的BE处于高负载状态。
    • disk_and_tablet策略:如果最大与最小BE磁盘使用率之差超过10%,则重新触发负载平衡。

disable_balance

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否禁用Tablet平衡。

max_scheduling_tablets

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10000
  • 描述:可同时调度的Tablet最大数量。如果同时调度的Tablet数量超过此值,则跳过Tablet负载平衡。

max_balancing_tablets

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:500
  • 描述:可同时平衡的Tablet最大数量。如果超过此值,则跳过负载重新平衡。

disable_colocate_balance

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否禁用分片表(Colocate Table)的副本平衡。

recover_with_empty_tablet

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否用空副本替换丢失或损坏的Tablet副本。使用空副本可继续查询,但因数据缺失可能导致结果不正确。

min_clone_task_timeout_sec

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:180
  • 单位:s
  • 描述:克隆Tablet的最小超时时间(默认值为3分钟)。

max_clone_task_timeout_sec

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:7200
  • 单位:s
  • 描述:克隆Tablet的最大超时时间(默认值为2小时)。

tablet_create_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:10
  • 单位:s
  • 描述:创建Tablet的超时时间。

tablet_delete_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:2
  • 单位:s
  • 描述:删除Tablet的超时时间。

tablet_repair_delay_factor_second

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:60
  • 单位:s
  • 描述:Tablet副本修复的间隔时间。

consistency_check_start_time

  • 参数类型:int
  • 参数范围:[0,23]
  • 参数默认值:23
  • 描述:副本一致性检查的开始时间(默认值为23,即23点整)。

consistency_check_end_time

  • 参数类型:int
  • 参数范围:[0,23]
  • 参数默认值:4
  • 描述:副本一致性检查的结束时间(默认值为4,即凌晨4点整)。

check_consistency_default_timeout_second

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:60
  • 单位:s
  • 描述:副本一致性检查的超时时间。

tablet_sched_storage_cooldown_second

  • 参数类型:long
  • 参数范围:[-1,9223372036854775807]
  • 参数默认值:-1
  • 单位:s
  • 描述:存储介质迁移的间隔时间(默认值为“-1”,表示禁用自动冷却)。如果需启用自动冷却,请设置为大于0的值。

schedule_slot_num_per_path

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:8
  • 描述:BE目录中可同时运行的Tablet相关任务数量。

tablet_stat_update_interval_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:300
  • 单位:s
  • 描述:FE从每个BE获取Tablet统计信息的间隔时间(默认值为5分钟)。

tablet_sched_max_balancing_tablets

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:500
  • 描述:可同时平衡的Tablet最大数量。如果超过此值,将跳过Tablet重新平衡。

tablet_sched_num_based_balance_threshold_ratio

  • 参数类型:double
  • 参数范围:[0,1]
  • 参数默认值:0.5
  • 单位:%
  • 描述:基于数量的平衡可能会打破磁盘容量的均衡,但磁盘之间的最大差距不能超过 tablet_sched_num_based_balance_threshold_ratio * tablet_sched_balance_load_score_threshold。如果集群中存在某些表始终在A盘和B盘之间来回迁移,建议降低此值。如果希望表的分布更加均衡,可以适当提高此值。

tablet_sched_balance_load_disk_safe_threshold

  • 参数类型:double
  • 参数范围:[0,1]
  • 参数默认值:0.5
  • 单位:%
  • 描述:用于判断BE节点磁盘使用率是否均衡的百分比阈值。如果所有BE节点的磁盘使用率均低于此值,则认为磁盘使用是均衡的;如果磁盘使用率高于此值,且最高使用率与最低使用率之间的差距超过10%,则认为磁盘使用不均衡,将触发表(Tablet)的重新平衡。

max_automatic_partition_number

  • 参数类型:int
  • 参数范围:(0,2147483647)
  • 参数默认值:4096
  • 描述:系统自动创建分区数量上限。该参数可以防止用户由于误操作而创建大量分区。

tablet_sched_repair_delay_factor_second

  • 参数类型:long
  • 参数范围:(0,9223372036854775807)
  • 参数默认值:60
  • 单位:s
  • 描述:FE进行副本修复的时间间隔。此参数为一个基准系数。
    • 对于HIGH优先级,延迟为基准系数 * 1。
    • 对于NORMAL优先级,延迟为基准系数 * 2。
    • 对于LOW优先级,延迟为基准系数 * 3。

    即优先级越低,延迟等待时间越长。如果想尽快修复副本,可以适当调低该参数值。

tablet_sched_balance_load_score_threshold

  • 参数类型:double
  • 参数范围:(0,1)
  • 参数默认值:0.1
  • 描述:集群Balance百分比的阈值,默认为 0.1,即10%。当一个BE节点的Load Score不高于或不低于平均Load Score的10%时,认为这个节点是均衡的。如果想让集群负载更加平均,可以适当调低该参数值。

GLOBAL相关参数说明

表16 FE统计信息相关参数说明

参数名

静态参数

参数描述

query_timeout

  • 参数类型:int
  • 参数范围:[0,259200]
  • 参数默认值:300
  • 单位:s
  • 描述:用于设置查询超时时间。此变量将作用于当前连接中的所有查询语句。

query_queue_pending_timeout_second

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:300
  • 单位:s
  • 描述:队列中待处理查询的最大超时时间,达到该阈值时对应的查询将被拒绝。

query_mem_limit

  • 参数类型:long
  • 参数范围:[0,9223372036854775807]
  • 参数默认值:0
  • 单位:byte
  • 描述:用于设置每个BE节点上查询的内存限制。

enable_spill

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否启用中间结果溢出。

enable_query_queue_load

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:用于启用加载任务的查询队列。

enable_query_queue_select

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否为SELECT查询启用查询队列。

enable_group_level_query_queue

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:是否启用资源组级查询队列。

disable_colocate_join

  • 参数类型:boolean
  • 参数范围:[true,false]
  • 参数默认值:false
  • 描述:用于控制是否禁用Colocation Join功能,默认值为“false”,表示不禁用该功能;“true”表示禁用该功能,即查询规划不会尝试执行Colocation Join。

query_queue_mem_used_pct_limit

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:0
  • 描述:BE的内存使用百分比上限,当大于0时才会生效,设置为0则表示不限制。

max_pipeline_dop

  • 参数类型:int
  • 参数范围:[0,2147483647]
  • 参数默认值:64
  • 描述:管道引擎的并行度(DOP)的每会话上限。

相关文档