更新时间:2022-12-14 GMT+08:00

调整元数据缓存

操作场景

HetuEngine访问Hive数据源时,需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。

操作步骤

  1. 登录FusionInsight Manager页面。
  2. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”,参考表1调整元数据缓存参数。

    表1 元数据缓存参数

    参数名称

    参数解释

    默认值

    参数文件

    hive.metastore-cache-ttl

    共部署hive数据源的元数据信息的缓存有效时间

    0s

    hive.properties

    hive.metastore-cache-maximum-size

    共部署hive数据源的元数据信息的最大缓存大小

    10000

    hive.properties

    hive.metastore-refresh-interval

    共部署hive的元数据的刷新周期。

    1s

    hive.properties

    hive.per-transaction-metastore-cache-maximum-size

    共部署hive数据源的每条事务的元数据信息的最大缓存大小

    1000

    hive.properties

  3. 单击“保存”,保存配置。
  4. 选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”,重启HetuEngine服务让参数生效。