导入并配置Oozie样例工程

操作场景

将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。

前提条件

• 已在Linux环境中安装了完整客户端。
• 获取Oozie服务器URL（任意节点），这个URL将是客户端提交流程任务的目标地址。

  URL格式为：https://oozie实例业务IP:21003/oozie。可登录FusionInsight Manager，选择“集群 > 服务 > Oozie > 实例”，即可获取任一oozie实例的IP地址；单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。

操作步骤

1. 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples”中的OozieMapReduceExample，OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。
2. 在应用开发环境中，导入样例工程到IDEA开发环境。
   1. 在IDEA中选择“File > Open”，弹出“浏览文件夹”对话框。
   2. 选择样例工程文件夹，单击“OK”。

3. 修改样例工程中的如下参数，请参考表1。

   表1 文件参数修改列表

   文件名	参数名	值	取值样例
   \src\main\resources\job.properties	userName	提交作业的用户	developuser
   \src\main\resources\application.properties	submit_user	提交作业的用户	developuser
   	oozie_url_default	https://oozie实例的业务IP:21003/oozie	https://10.10.10.176:21003/oozie

4. 选择运行的样例工程：
   • OozieMapReduceExcample样例工程，执行5。
   • OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。

5. 使用客户端上传Oozie的example文件到HDFS。
   1. 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。

      cd /opt/client

   2. 执行以下命令配置环境变量。

      source bigdata_env

   3. 执行以下命令在HDFS创建目录并上传样例工程到该目录。

      hdfs dfs -mkdir /user/developuser

      hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/developuser

      

      命令行中 “oozie-client-*”涉及的版本号以实际版本号为准。