更新时间:2024-07-24 GMT+08:00

调整Hive元数据超时

大分区表包含过多分区,导致任务超时,同时大量分区可能需要更多时间来加载与元存储缓存同步。因此,为了在更大规模存储中获得更好的性能,建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。

  1. 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
  2. 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
  3. 单击“数据源”,在Hive数据源所在行的“操作”列下单击“编辑”,在页面内新增如下自定义配置:

    表1 元数据超时参数

    参数名称

    默认值

    描述

    hive.metastore-timeout

    10s

    • 共部署Hive数据源加载元数据缓存最大超时时间,单位为秒或分钟
    • 对于大分区表中的操作,值可为60s或更大,需要根据数据量进行配置

    hive.metastore.connection.pool.maxWaitMillis

    1000

    • 共部署Hive数据源加载元数据连接池最大等待时间,单位为毫秒
    • 对于访问连接池频繁且连接池连接数较少情况下,值可为100000或更大,需要根据业务量进行配置

  4. 单击“确定”完成配置。