修改StarRocks集群参数配置
创建完StarRocks集群后,用户可以在表格存储服务控制台中多次修改集群的配置参数。根据参数的生效方式,包括静态参数和动态参数两类。静态参数在修改后需要重启集群才能生效,而动态参数则允许立即生效,无需重启集群。
使用限制
- 修改集群静态参数需要重启集群,可能会导致业务的中断。
- 集群无运行中的任务时,才能修改参数。
- CloudTable StarRocks集群重启过程中,不允许修改集群参数。
修改StarRocks参数配置
- 登录表格存储服务控制台。
- 在集群列表中找到所需要的集群,单击集群名称,进入“参数配置”页面。
- 在“参数配置”中单击“参数配置”页签,对StarRocks参数进行修改。
- 选择修改的节点(FE、BE或GLOBAL,相关参数详细介绍请参见BE相关参数说明、FE相关参数说明或GLOBAL相关参数说明)后,选中需要修改的参数,在“参数值”列单击
。 - 在修改框中输入新值,单击
,系统提示“参数修改为xxx成功,请保存本次修改值”,并且修改的参数值后显示红色*。 如果单击
,则取消修改。图1 修改参数
- 单击参数列表左上方的“保存修改”,弹出“保存修改”对话框。
- 在“保存修改”对话框中,确认参数修改信息正确后,然后单击“确定”。
- 单击确定后,再单击右上角的刷新按钮
,如果参数表状态显示“已生效”,集群不用重启。如果显示“未生效”,用户需要手动重启集群才能使修改的参数生效。 - 单击参数配置页签左上角的重启按钮,集群重启或者返回集群列表页面重启集群。
静态参数修改完成后,需要手动重启集群,参数才能生效。动态参数修改后生效,不用重启集群。
- 如果修改的参数值不正确,可以在“保存修改”对话框中单击“一键还原”,取消修改参数值。
- 单击确定后,再单击右上角的刷新按钮
- 参数修改完成后,可以单击“修改历史”页签查看参数修改的历史。“修改历史”页面中显示如下信息。
表1 参数说明 参数
参数说明
参数名
被修改过的参数名。
旧值
修改前的参数值。
新值
修改后的参数值。
修改时间
记录用户修改参数值的时间。
BE相关参数说明
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| push_worker_count_normal_priority | 是 |
|
| push_worker_count_high_priority | 是 |
|
| transaction_publish_version_worker_count | 否 |
|
| clear_transaction_task_worker_count | 是 |
|
| load_data_reserve_hours | 是 |
|
| load_error_log_reserve_hours | 否 |
|
| number_tablet_writer_threads | 否 |
|
| streaming_load_max_mb | 否 |
|
| streaming_load_rpc_max_alive_time_sec | 是 |
|
| load_process_max_memory_limit_bytes | 是 |
|
| max_runnings_transactions_per_txn_map | 否 |
|
| max_consumer_num_per_group | 是 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| txn_commit_rpc_timeout_ms | 否 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| scanner_thread_pool_thread_num | 否 |
|
| scanner_thread_pool_queue_size | 是 |
|
| scanner_row_num | 否 |
|
| max_scan_key_num | 否 |
|
| file_descriptor_cache_capacity | 是 |
|
| min_file_descriptor_number | 是 |
|
| index_stream_cache_capacity | 是 |
|
| disable_storage_page_cache | 否 |
|
| fragment_pool_thread_num_max | 是 |
|
| fragment_pool_thread_num_min | 是 |
|
| fragment_pool_queue_size | 是 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| num_threads_per_core | 是 |
|
| compress_rowbatches | 是 |
|
| serialize_batch | 是 |
|
| thrift_rpc_timeout_ms | 否 |
|
| brpc_max_body_size | 是 |
|
| disable_column_pool | 是 |
|
| mem_limit | 是 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| report_task_interval_seconds | 否 |
|
| report_disk_state_interval_seconds | 否 |
|
| report_tablet_interval_seconds | 否 |
|
| status_report_interval | 否 |
|
| periodic_counter_update_period_ms | 否 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| create_tablet_worker_count | 否 |
|
| drop_tablet_worker_count | 否 |
|
| alter_tablet_worker_count | 否 |
|
| storage_medium_migrate_count | 是 |
|
| check_consistency_worker_count | 否 |
|
| column_dictionary_key_ratio_threshold | 否 |
|
| column_dictionary_key_size_threshold | 否 |
|
| memory_limitation_per_thread_for_schema_change | 否 |
|
| file_descriptor_cache_clean_interval | 否 |
|
| disk_stat_monitor_interval | 否 |
|
| unused_rowset_monitor_interval | 否 |
|
| max_tablet_num_per_shard | 是 |
|
| pending_data_expire_time_sec | 否 |
|
| inc_rowset_expired_sec | 否 |
|
| max_garbage_sweep_interval | 否 |
|
| min_garbage_sweep_interval | 否 |
|
| snapshot_expire_time_sec | 否 |
|
| trash_file_expire_time_sec | 否 |
|
| base_compaction_check_interval_seconds | 否 |
|
| base_compaction_num_threads_per_disk | 是 |
|
| base_cumulative_delta_ratio | 否 |
|
| base_compaction_interval_seconds_since_last_operation | 否 |
|
| cumulative_compaction_check_interval_seconds | 否 |
|
| min_cumulative_compaction_num_singleton_deltas | 否 |
|
| max_cumulative_compaction_num_singleton_deltas | 否 |
|
| cumulative_compaction_num_threads_per_disk | 是 |
|
| min_compaction_failure_interval_sec | 否 |
|
| max_compaction_concurrency | 否 |
|
| load_process_max_memory_limit_percent | 是 |
|
| sync_tablet_meta | 否 |
|
| tablet_meta_checkpoint_min_new_rowsets_num | 否 |
|
| tablet_meta_checkpoint_min_interval_secs | 否 |
|
| tablet_map_shard_size | 是 |
|
| max_base_compaction_num_singleton_deltas | 否 |
|
| max_update_compaction_num_singleton_deltas | 否 |
|
| update_compaction_result_bytes | 否 |
|
| clone_worker_count | 是 |
|
FE相关参数说明
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| load_straggler_wait_second | 否 |
|
| desired_max_waiting_jobs | 否 |
|
| max_running_txn_num_per_db | 否 |
|
| max_load_timeout_second | 否 |
|
| min_load_timeout_second | 否 |
|
| load_parallel_instance_num | 否 |
|
| history_job_keep_max_second | 否 |
|
| label_keep_max_num | 否 |
|
| label_keep_max_second | 否 |
|
| max_routine_load_batch_size | 否 |
|
| routine_load_task_consume_second | 否 |
|
| routine_load_task_timeout_second | 否 |
|
| max_tolerable_backend_down_num | 否 |
|
| period_of_auto_resume_min | 否 |
|
| spark_load_default_timeout_second | 否 |
|
| stream_load_default_timeout_second | 否 |
|
| max_stream_load_timeout_second | 否 |
|
| insert_load_default_timeout_second | 否 |
|
| broker_load_default_timeout_second | 否 |
|
| export_max_bytes_per_be_per_task | 否 |
|
| export_running_job_num_limit | 否 |
|
| export_task_default_timeout_second | 否 |
|
| report_queue_size | 否 |
|
| async_load_task_pool_size | 否 |
|
| load_checker_interval_second | 是 |
|
| transaction_clean_interval_second | 是 |
|
| label_clean_interval_second | 是 |
|
| export_checker_interval_second | 是 |
|
| export_task_pool_size | 是 |
|
| routine_load_unstable_threshold_second | 否 |
|
| max_routine_load_task_num_per_be | 否 |
|
| max_routine_load_task_concurrent_num | 否 |
|
| max_broker_load_job_concurrency | 否 |
|
| min_bytes_per_broker_scanner | 否 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| qe_slow_log_ms | 否 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| catalog_try_lock_timeout_ms | 否 |
|
| ignore_unknown_log_id | 否 |
|
| ignore_meta_check | 否 |
|
| drop_backend_after_decommission | 否 |
|
| db_used_data_quota_update_interval_secs | 否 |
|
| heartbeat_mgr_threads_num | 是 |
|
| heartbeat_mgr_blocking_queue_size | 是 |
|
| bdbje_heartbeat_timeout_second | 是 |
|
| bdbje_lock_timeout_second | 是 |
|
| max_bdbje_clock_delta_ms | 是 |
|
| txn_rollback_limit | 是 |
|
| bdbje_replica_ack_timeout_second | 是 |
|
| meta_delay_toleration_second | 否 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| expr_children_limit | 否 |
|
| max_allowed_in_element_num_of_delete | 否 |
|
| enable_decimal_v3 | 否 |
|
| enable_sql_blacklist | 否 |
|
| max_partitions_in_one_batch | 否 |
|
| max_query_retry_time | 否 |
|
| max_create_table_timeout_second | 否 |
|
| max_running_rollup_job_num_per_table | 否 |
|
| max_planner_scalar_rewrite_num | 否 |
|
| enable_local_replica_selection | 否 |
|
| max_distribution_pruner_recursion_depth | 否 |
|
| publish_version_interval_ms | 是 |
|
| statistic_cache_columns | 是 |
|
| dynamic_partition_enable | 否 |
|
| dynamic_partition_check_interval_seconds | 否 |
|
| big_sql_defend_enable | 是 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| thrift_backlog_num | 是 |
|
| thrift_server_max_worker_threads | 否 |
|
| thrift_client_timeout_ms | 是 |
|
| brpc_idle_wait_max_time | 是 |
|
| mysql_service_nio_enabled | 是 |
|
| mysql_service_io_threads_num | 是 |
|
| mysql_nio_backlog_num | 是 |
|
| max_mysql_service_task_threads_num | 是 |
|
| max_connection_scheduler_threads_num | 是 |
|
| qe_max_connection | 是 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| plugin_enable | 否 |
|
| max_small_file_number | 否 |
|
| max_small_file_size_bytes | 否 |
|
| backup_job_default_timeout_ms | 否 |
|
| max_agent_task_threads_num | 是 |
|
| hive_meta_load_concurrency | 是 |
|
| hive_meta_cache_refresh_interval_s | 是 |
|
| hive_meta_cache_ttl_s | 是 |
|
| hive_meta_store_timeout_s | 是 |
|
| enable_metric_calculator | 是 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| statistic_manager_sleep_time_sec | 否 |
|
| statistic_collect_interval_sec | 否 |
|
| statistic_update_interval_sec | 否 |
|
| statistic_sample_collect_rows | 否 |
|
| enable_statistic_collect | 否 |
|
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| enable_strict_storage_medium_check | 否 |
|
| capacity_used_percent_high_water | 否 |
|
| storage_high_watermark_usage_percent | 否 |
|
| storage_min_left_capacity_bytes | 否 |
|
| storage_flood_stage_left_capacity_bytes | 否 |
|
| storage_flood_stage_usage_percent | 否 |
|
| catalog_trash_expire_second | 否 |
|
| alter_table_timeout_second | 否 |
|
| balance_load_disk_safe_threshold | 否 |
|
| balance_load_score_threshold | 否 |
|
| disable_balance | 否 |
|
| max_scheduling_tablets | 否 |
|
| max_balancing_tablets | 否 |
|
| disable_colocate_balance | 否 |
|
| recover_with_empty_tablet | 否 |
|
| min_clone_task_timeout_sec | 否 |
|
| max_clone_task_timeout_sec | 否 |
|
| tablet_create_timeout_second | 否 |
|
| tablet_delete_timeout_second | 否 |
|
| tablet_repair_delay_factor_second | 否 |
|
| consistency_check_start_time | 是 |
|
| consistency_check_end_time | 否 |
|
| check_consistency_default_timeout_second | 否 |
|
| tablet_sched_storage_cooldown_second | 是 |
|
| schedule_slot_num_per_path | 否 |
|
| tablet_stat_update_interval_second | 是 |
|
| tablet_sched_max_balancing_tablets | 否 |
|
| tablet_sched_num_based_balance_threshold_ratio | 否 |
|
| tablet_sched_balance_load_disk_safe_threshold | 否 |
|
| max_automatic_partition_number | 否 |
|
| tablet_sched_repair_delay_factor_second | 否 |
|
| tablet_sched_balance_load_score_threshold | 否 |
|
GLOBAL相关参数说明
| 参数名 | 静态参数 | 参数描述 |
|---|---|---|
| query_timeout | 否 |
|
| query_queue_pending_timeout_second | 否 |
|
| query_mem_limit | 否 |
|
| enable_spill | 否 |
|
| enable_query_queue_load | 否 |
|
| enable_query_queue_select | 否 |
|
| enable_group_level_query_queue | 否 |
|
| disable_colocate_join | 否 |
|
| query_queue_mem_used_pct_limit | 否 |
|
| max_pipeline_dop | 否 |
|