导入并配置Oozie样例工程

操作场景

将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。

前提条件

• 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。

  用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权限，HBase读写权限以及Yarn的队列提交权限。

• 已在Linux环境中安装了完整的集群客户端。
• 获取Oozie服务器URL（任意节点），这个URL将是客户端提交流程任务的目标地址。

  URL格式为：https://Oozie节点业务IP:21003/oozie。可登录FusionInsight Manager，选择“集群 > 服务 > Oozie > 实例”，即可获取任一oozie实例的IP地址；单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。

操作步骤

1. 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-examples”中的OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。
2. 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”用户认证凭据文件复制到OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample样例工程的“\src\main\resources”路径。
3. 在应用开发环境中，导入样例工程到IDEA开发环境。
   1. 在IDEA中选择“File > Open”，弹出“浏览文件夹”对话框。
   2. 选择样例工程文件夹，单击“OK”。

4. 修改样例工程中的如下参数，请参考表1。

   表1 文件参数修改列表

   文件名	参数名	值	取值样例
   \src\main\resources\job.properties	userName	提交作业的用户	developuser
   \src\main\resources\application.properties	submit_user	提交作业的用户	developuser
   	oozie_url_default	https://Oozie业务IP:21003/oozie	https://10.10.10.176:21003/oozie

5. 选择运行的样例工程：
   • OozieMapReduceExcample样例工程，执行6。
   • OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。

6. 使用客户端上传Oozie的examples文件夹到HDFS。
   1. 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。

      cd /opt/client

   2. 执行以下命令配置环境变量。

      source bigdata_env

   3. 执行以下命令认证用户并登录。首次登录需要修改密码。

      kinit developuser

   4. 执行以下命令在HDFS创建目录并上传样例工程到该目录。

      hdfs dfs -mkdir /user/developuser

      hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/developuser

      

      命令行中 “oozie-client-*”涉及的版本号以实际版本号为准。