更新时间:2024-07-27 GMT+08:00
分享

导入并配置Oozie样例工程

操作场景

将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。

前提条件

  • 已在Linux环境中安装了完整客户端。
  • 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。

    URL格式为:https://oozie实例业务IP:21003/oozie。可登录FusionInsight Manager,选择“集群 > 服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。

操作步骤

  1. 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples”中的OozieMapReduceExample,OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。
  2. 在应用开发环境中,导入样例工程到IDEA开发环境。

    1. 在IDEA中选择“File > Open”,弹出“浏览文件夹”对话框。
    2. 选择样例工程文件夹,单击“OK”。

  3. 修改样例工程中的如下参数,请参考表1

    表1 文件参数修改列表

    文件名

    参数名

    取值样例

    \src\main\resources\job.properties

    userName

    提交作业的用户

    developuser

    \src\main\resources\application.properties

    submit_user

    提交作业的用户

    developuser

    oozie_url_default

    https://oozie实例的业务IP:21003/oozie

    https://10.10.10.176:21003/oozie

  4. 选择运行的样例工程:

  5. 使用客户端上传Oozie的example文件到HDFS。

    1. 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。

      cd /opt/client

    2. 执行以下命令配置环境变量。

      source bigdata_env

    3. 执行以下命令在HDFS创建目录并上传样例工程到该目录。

      hdfs dfs -mkdir /user/developuser

      hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/developuser

      命令行中 “oozie-client-*”涉及的版本号以实际版本号为准。

相关文档