更新时间:2023-06-30 GMT+08:00

调整动态过滤

本章节适用于MRS 3.2.0及以后版本。

操作场景

HetuEngine提供了动态过滤的功能,在Join场景中开启动态过滤往往有较大的性能提升。

本章节介绍如何开启动态过滤功能。

操作步骤

  1. 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
  2. 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
  3. 在“计算实例”页签,在待操作的实例所在行的“操作”列单击“配置”。
  4. 在“自定义配置”单击“增加”添加如下参数。

    表1 动态过滤参数

    名称

    参数文件

    参数解释

    hetu.seed-store.enabled

    true

    coordinator.config.properties和worker.config.properties

    开启seed-store功能,默认“false”。开启动态过滤功能时需设置为“true”。

    hetu.embedded-state-store.enabled

    true

    coordinator.config.properties和worker.config.properties

    开启state-store功能,默认“false”。开启动态过滤功能时需设置为“true”。

    enable-dynamic-filtering

    true

    coordinator.config.properties和worker.config.properties

    开启动态过滤功能,默认“false”。

    dynamic-filtering-wait-time

    1s

    coordinator.config.properties和worker.config.properties

    等待动态过滤条件生成的最长等待时间,默认值:1s。

    dynamic-filtering-max-size

    1000000

    coordinator.config.properties和worker.config.properties

    每个dynamic filter的大小上限,如果预估大小超过设定值,代价优化器不会生成对应的dynamic filter,默认值:1000000。

    dynamic-filtering-max-per-driver-size

    100M

    coordinator.config.properties和worker.config.properties

    动态过滤开始时每个driver可以收集的最大数据量,默认值:1M。

    dynamic-filtering-max-per-driver-row-count

    20000

    coordinator.config.properties和worker.config.properties

    动态过滤每一个driver存放的数据行数,默认值:20000。

  5. 添加完成后勾选“立即启动”,单击“确定”。