使用Hue提交Oozie Mapreduce作业 使用Hue提交Oozie Sub workflow作业 使用Hue提交Oozie Shell作业 使用Hue提交Oozie HDFS作业 使用Hue提交Oozie Streaming作业 使用Hue提交Oozie Distcp作业 使用Hue提交Oozie

查看更多 →

创建集群并提交作业 功能介绍 创建一个 MRS 集群并提交作业，并支持作业完成后删除集群，支持MRS 1.8.9及以上集群版本使用。使用接口前，您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过E CS 创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息

查看更多 →

生效。 单击“作业管理”，进入“作业管理”页签。 单击“添加”，进入“添加作业”页面。 IAM用户名存在空格时（如admin 01），不支持添加作业。 “作业类型”选择“MapReduce”，并配置其他作业信息。 表1 作业配置信息 参数 参数说明 作业名称 作业名称，只能由字母

查看更多 →

通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。如果集群无此参数，或参数值为“fals

查看更多 →

配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称

查看更多 →

配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称

查看更多 →

通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割

查看更多 →

。 其他参数请参考创建Spark作业中关于Spark作业编辑页面的说明。 单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 （可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 在 DLI 管理控制

查看更多 →

使用JDBC提交Spark SQL作业 获取服务端连接地址 下载JDBC驱动包 认证 使用JDBC提交作业 JDBC API参考 父主题： SQL作业开发指南

查看更多 →

通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题： 开发Oozie应用

查看更多 →

通过Java API提交Oozie作业 功能简介 Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业，通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况，修改“OOZIE_URL_DEFALUT”为实际

查看更多 →

“/user{提交用户名}”目录，可能会导致其他任务运行异常。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“HDFS-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hu

查看更多 →

保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Java-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业

查看更多 →

MapReduce Java API接口介绍 MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop

查看更多 →

apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf：MapReduce作业的配置类，是用户向Hadoop提交作业的主要配置接口。 表1 类org

查看更多 →

通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job

查看更多 →

apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf：MapReduce作业的配置类，是用户向Hadoop提交作业的主要配置接口。 表1 类org

查看更多 →

提交实时流近线作业 功能介绍 该接口用于提交实时流作业并进行近线计算。 URI POST /v1/{project_id}/nearline-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方法请参见获取项目ID。

查看更多 →

提交流式训练作业 功能介绍 该接口用于提交流式训练作业。 URI POST /v1/{project_id}/stream-etl-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方法请参见获取项目ID。

查看更多 →