调整动态过滤
本章节适用于MRS 3.2.0及以后版本。
操作场景
HetuEngine提供了动态过滤的功能,在Join场景中开启动态过滤往往有较大的性能提升。
本章节介绍如何开启动态过滤功能。
操作步骤
- 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
- 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
- 在“计算实例”页签,在待操作的实例所在行的“操作”列单击“配置”。
- 在“自定义配置”单击“增加”添加如下参数。
表1 动态过滤参数 名称
值
参数文件
参数解释
hetu.seed-store.enabled
true
coordinator.config.properties和worker.config.properties
开启seed-store功能,默认“false”。开启动态过滤功能时需设置为“true”。
hetu.embedded-state-store.enabled
true
coordinator.config.properties和worker.config.properties
开启state-store功能,默认“false”。开启动态过滤功能时需设置为“true”。
enable-dynamic-filtering
true
coordinator.config.properties和worker.config.properties
开启动态过滤功能,默认“false”。
dynamic-filtering-wait-time
1s
coordinator.config.properties和worker.config.properties
等待动态过滤条件生成的最长等待时间,默认值:1s。
dynamic-filtering-max-size
1000000
coordinator.config.properties和worker.config.properties
每个dynamic filter的大小上限,如果预估大小超过设定值,代价优化器不会生成对应的dynamic filter,默认值:1000000。
dynamic-filtering-max-per-driver-size
100M
coordinator.config.properties和worker.config.properties
动态过滤开始时每个driver可以收集的最大数据量,默认值:1M。
dynamic-filtering-max-per-driver-row-count
20000
coordinator.config.properties和worker.config.properties
动态过滤每一个driver存放的数据行数,默认值:20000。
- 添加完成后勾选“立即启动”,单击“确定”。