更新时间:2024-10-28 GMT+08:00

调整HetuEngine元数据缓存

HetuEngine元数据缓存介绍

HetuEngine访问Hive数据源时,需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。

调整HetuEngine元数据缓存步骤

  1. 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
  2. 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
  3. 单击“数据源”,在Hive数据源所在行的“操作”列下单击“编辑”,在页面内新增自定义配置,参考表1调整元数据缓存参数。

    表1 元数据缓存参数

    参数名称

    参数解释

    默认值

    hive.metastore-cache-ttl

    共部署hive数据源的元数据信息的缓存有效时间

    0s

    hive.metastore-cache-maximum-size

    共部署hive数据源的元数据信息的最大缓存大小

    10000

    hive.metastore-refresh-interval

    共部署hive的元数据的刷新周期。

    1s

    hive.per-transaction-metastore-cache-maximum-size

    共部署hive数据源的每条事务的元数据信息的最大缓存大小

    1000

  4. 单击“确定”完成配置。
  5. 重启HetuEngine服务。

    返回Manager,在“概览”选择“更多 > 重启服务”,根据界面提示重启HetuEngine服务。

  6. 若存在运行中的计算实例需重启HetuEngine计算实例。

    返回HSConsole界面,单击“计算实例”,勾选待操作实例,单击“重启”根据界面提示重启HetuEngine计算实例。