更新时间:2022-12-14 GMT+08:00
调整元数据缓存
操作场景
当HetuEngine访问Hive数据源时,需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。
操作步骤
- 登录FusionInsight Manager页面。
- 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”,参考表1调整元数据缓存参数。
表1 元数据缓存参数 参数名称
参数解释
默认值
参数文件
hive.metastore-cache-ttl
共部署hive数据源的元数据信息的缓存有效时间
0s
hive.properties
hive.metastore-cache-maximum-size
共部署hive数据源的元数据信息的最大缓存大小
10000
hive.properties
hive.metastore-refresh-interval
共部署hive的元数据的刷新周期。
1s
hive.properties
hive.per-transaction-metastore-cache-maximum-size
共部署hive数据源的每条事务的元数据信息的最大缓存大小
1000
hive.properties
- 单击“保存”,保存配置。
- 选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”,重启HetuEngine服务让参数生效。
父主题: HetuEngine性能调优