更新时间:2024-11-29 GMT+08:00

调整元数据缓存

操作场景

HetuEngine访问Hive数据源时,需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。

操作步骤

  1. 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
  2. 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
  3. 单击“数据源”,在Hive数据源所在行的“操作”列下单击“编辑”,在页面内新增自定义配置,参考表1调整元数据缓存参数。

    表1 元数据缓存参数

    参数名称

    参数解释

    默认值

    hive.metastore-cache-ttl

    共部署hive数据源的元数据信息的缓存有效时间

    0s

    hive.metastore-cache-maximum-size

    共部署hive数据源的元数据信息的最大缓存大小

    10000

    hive.metastore-refresh-interval

    共部署hive的元数据的刷新周期。

    1s

    hive.per-transaction-metastore-cache-maximum-size

    共部署hive数据源的每条事务的元数据信息的最大缓存大小

    1000

  4. 单击“确定”完成配置。