文档首页/ MapReduce服务 MRS/ 用户指南（吉隆坡区域）/ MRS集群组件操作指导/ 使用Hive/ 切换Hive执行引擎为Tez
更新时间：2023-03-17 GMT+08:00
查看PDF
分享

切换Hive执行引擎为Tez

操作场景

Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。

前提条件

集群已安装Yarn服务的TimelineServer角色，且角色运行正常。

客户端切换执行引擎为Tez

  1. 安装并登录Hive客户端，具体操作请参考使用Hive客户端。
  2. 执行以下命令切换引擎并开启“yarn.timeline-service.enabled”参数：

    set hive.execution.engine=tez;

    set yarn.timeline-service.enabled=true;
    • “yarn.timeline-service.enabled”参数开启后可以在Tez服务中通过TezUI查看Tez引擎执行任务的详细情况。开启后任务信息将上报TimelineServer，如果TimelineServer实例故障，会导致任务失败。
    • 由于Tez使用ApplicationMaster缓冲池，“yarn.timeline-service.enabled”必须在提交Tez任务前开启，否则会导致此参数无法生效，需要重新登录客户端进行配置。
    • 当执行引擎需要切换为其它引擎时，需要通过客户端执行set yarn.timeline-service.enabled=false命令关闭“yarn.timeline-service.enabled”参数。
    • 如果需要指定Yarn运行队列，可以在客户端执行set tez.queue.name=default命令指定运行队列。

  3. 提交并执行Tez任务。
  4. 登录FusionInsight Manager界面，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“集群 > 待操作的集群 > 服务 > Tez > TezUI（主机名称）”，在TezUI界面查看任务执行情况。

    针对MRS 3.x之前版本，请登录MRS Manager界面，选择“服务管理 > Tez > Tez WebUI”，在TezUI界面查看任务执行情况。

切换Hive服务默认执行引擎为Tez

  1. 登录FusionInsight Manager界面，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“集群 > 待操作的集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer（角色）”，搜索“hive.execution.engine”参数。

    针对MRS 3.x之前版本，请登录MRS Manager界面，选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer”，搜索“hive.execution.engine”参数。

  2. 将“hive.execution.engine”参数设置为“tez”。
  3. 选择“Hive（服务） > 自定义”，搜索“yarn.site.customized.configs”。
  4. 在“yarn.site.customized.configs”参数后添加自定义参数，名称为“yarn.timeline-service.enabled”，值为“true”。

    • “yarn.timeline-service.enabled”开启后可以在Tez服务中通过TezUI查看Tez引擎执行任务详细情况。开启后任务信息将上报TimelineServer，如果TimelineServer实例故障，会导致任务失败。
    • 由于Tez使用ApplicationMaster缓冲池，“yarn.timeline-service.enabled”必须在提交Tez任务前开启，否则会导致此参数无法生效，需要重新登录客户端配置。
    • 当执行引擎需要切换为其它引擎时，需要将自定义参数“yarn.timeline-service.enabled”的值设置为“false”。

  5. 单击“保存”在弹出窗口单击“确定”。

    针对MRS 3.x之前版本，请单击“保存配置”在弹出窗口单击“是”。

  6. 选择“概览 > 更多 > 重启服务”，重启Hive服务，输入密码开始重启服务。

    针对MRS 3.x之前版本，请在“服务状态”页签选择“更多 > 重启服务”，重启Hive服务。

  7. 安装并登录Hive客户端，具体操作请参考使用Hive客户端。
  8. 提交并执行Tez任务。
  9. 登录FusionInsight Manager界面，选择“集群 > 待操作的集群 > 服务 > Tez > TezUI（主机名称）”，跳转TezUI界面查看任务执行情况。

    针对MRS 3.x之前版本，请登录MRS Manager界面，选择“服务管理 > Tez > Tez WebUI”，在TezUI界面查看任务执行情况。

父主题： 使用Hive