更新时间:2023-05-25 GMT+08:00
分享

从零开始使用Oozie

Oozie是一个基于工作流引擎的开源框架,能够提供对Hadoop作业的任务调度与协调。

Oozie支持提交多种类型任务,例如Hive、Spark2x、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。

本章节指导用户通过使用Oozie客户端提交MapReduce任务。

前提条件

已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。

操作步骤

  1. 以客户端安装用户,登录安装客户端的节点。
  2. 执行以下命令,切换到客户端安装目录。假如客户端安装目录为:/opt/client,请根据实际安装目录修改。

    cd /opt/client

  3. 执行以下命令配置环境变量。

    source bigdata_env

  4. 判断集群认证模式。

    • 安全模式,执行以下命令进行用户认证。UserOozie为提交任务的用户。

      kinit UserOozie

    • 普通模式,执行5

  5. 上传Oozie配置文件以及Jar包至HDFS:

    hdfs dfs -mkdir /user/UserOozie

    hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/UserOozie/

    • /opt/client”为客户端安装目录,请根据实际安装目录修改。
    • UserOozie为提交任务的用户。

  6. 修改任务执行配置文件:

    cd /opt/client/Oozie/oozie-client-*/examples/apps/map-reduce/

    vi job.properties

    nameNode=hdfs://hacluster
    resourceManager=10.64.35.161:8032(10.64.35.161为Yarn resourceManager(Active)节点业务平面IP;8032为yarn.resourcemanager.port)
    queueName=default
    examplesRoot=examples
    user.name=UserOozie(提交任务的用户名)
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce #hdfs上传路径
    outputDir=map-reduce
    oozie.wf.rerun.failnodes=true

  7. 运行oozie任务:

    oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run

    “21003”为Oozie HTTPS请求的运行端口,可在FusionInsight Manager,选择“集群 > 服务 > Oozie > 配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”查看。

    [root@kwephispra44947 map-reduce]# oozie job -oozie https://kwephispra44948:21003/oozie/ -config job.properties -run
    ......
    job: 0000000-200730163829770-oozie-omm-W

  8. 登录FusionInsight Manager。具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)
  9. 选择“集群 > 待操作集群的名称 > 服务 > Oozie ”,单击“oozie WebUI”后的超链接进入Oozie页面,在Oozie的WebUI上查看任务运行结果。

    图1 任务运行结果

分享:

    相关文档

    相关产品