更新时间:2024-05-11 GMT+08:00

提交Shell作业

操作场景

该任务指导用户通过Hue界面提交Shell类型的Oozie作业。

操作步骤

  1. 创建工作流,请参考创建工作流
  2. 在工作流编辑页面,选择“Shell”按钮,将其拖到操作区中。
  3. 在弹出的“Shell”窗口中配置“Shell command”的值,例如“oozie_shell.sh”,然后单击“添加”。
  4. 单击“文件+”,添加Shell命令执行文件或Oozie样例执行文件,可以选择存储在HDFS的文件或本地文件。

    • 若文件存储在HDFS上,选择“.sh”文件所在路径即可,例如“user/hueuser/shell/oozie_shell.sh”。

    • 若选择本地文件,则需在“选择文件”界面,单击“上传文件”,上传本地文件,文件上传成功后,选择该文件即可。

  5. 如果执行的Shell文件需要传递参数,可单击“参数+”设置参数。

    传递参数的顺序需要和Shell脚本中保持一致。

  6. 单击Oozie编辑器右上角的

    保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。

  7. 保存完成后,单击,提交该作业。

    作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

    • 配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不要配置成ll。可配置成Shell命令ls ,参数添加一个 “-l”。
    • Windows上传Shell脚本到HDFS时,请保证Shell脚本的格式为Unix,格式不正确会导致Shell作业提交失败。