调整Hive元数据超时

操作场景

大分区表包含过多分区，导致任务超时，同时大量分区可能需要更多时间来加载与元存储缓存同步。因此，为了在更大规模存储中获得更好的性能，建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。

操作步骤

1. 使用HetuEngine管理员用户登录MRS集群Manager。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
3. 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
4. 单击“数据源”，在Hive数据源所在行的“操作”列下单击“编辑”，在“编辑数据源”页面新增自定义配置，参考表1调整Hive元数据超时参数。

   表1 元数据超时参数

   参数名称	默认值	描述
   hive.metastore-timeout	10s	共部署Hive数据源加载元数据缓存最大超时时间，单位为秒或分钟 对于大分区表中的操作，值可为60s或更大，需要根据数据量进行配置
   hive.metastore.connection.pool.maxWaitMillis	1000	共部署Hive数据源加载元数据连接池最大等待时间，单位为毫秒 对于访问连接池频繁且连接池连接数较少情况下，值可为100000或更大，需要根据业务量进行配置

5. 单击“确定”完成配置。

相关文档

• HetuEngine权限说明请参考HetuEngine用户权限说明。
• 创建HetuEngine权限角色请参考创建HetuEngine权限角色。
• HetuEngine可通过HSConsole界面快速添加数据源，具体操作请参考添加HetuEngine数据源。
• 管理HetuEngine数据源请参考管理HetuEngine数据源。