文档首页/ MapReduce服务 MRS/ 用户指南（吉隆坡区域）/ MRS集群组件操作指导/ 使用Oozie/ 使用Hue提交Oozie作业/ 提交Workflow工作流作业/ 提交Distcp作业
更新时间：2023-03-17 GMT+08:00
查看PDF
分享

提交Distcp作业

操作场景

该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。

操作步骤

  1. 创建工作流，请参考创建工作流。
  2. 在工作流编辑页面，选择“DistCp”按钮，将其拖到操作区中。
  3. 当前DistCp操作是否是跨集群操作。

    • 是，执行4。
    • 否，执行7。

  4. 对两个集群进行跨Manager集群互信。
  5. 在弹出的“Distcp”窗口中配置“源”的值，例如“hdfs://hacluster/user/admin/examples/input-data/text/data.txt”。配置“目标”的值，例如“hdfs://target_ip:target_port/user/admin/examples/output-data/distcp-workflow/data.txt”。然后单击“添加”。
  6. 单击右上角的配置按钮，在打开的“属性”页签配置界面中，单击“属性+”，在左边文本框中填写属性名称“oozie.launcher.mapreduce.job.hdfs-servers”，在右边文本框中填写属性值“hdfs://source_ip:source_port,hdfs://target_ip:target_port”，执行8。

    source_ip：源集群的HDFS的NameNode的业务地址。

    source_port：源集群的HDFS的NameNode的端口号。

    target_ip：目标集群的HDFS的NameNode的业务地址。

    target_port：目标集群的HDFS的NameNode的端口号。

  7. 在弹出的“Distcp”窗口中配置“源”的值，例如“/user/admin/examples/input-data/text/data.txt”。配置“目标”的值，例如“/user/admin/examples/output-data/distcp-workflow/data.txt”。然后单击“添加”。
  8. 单击右上角的配置按钮，在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/admin/examples/output-data/distcp-workflow”。

  9. 单击Oozie编辑器右上角的。

    保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Distcp-Workflow”。

  10. 保存完成后，单击，提交该作业。

    作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。