MRS 作业简介 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。作业创建完成后，所有的作业列表信息展示在“作业管理”页面中，您可以查看所有的作业列表，也可以创建和管理作业。若集群详情页面不支持“作业管理”页签，请通过后台方式提交作业。 MRS集群处理的数据源来

查看更多 →

如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS M

查看更多 →

停止作业 本章节介绍如何手动停止正在运行的MRS作业。 背景信息 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 操作步骤 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 选择“作业管理”。

查看更多 →

作业管理 MRS作业简介 运行MapReduce作业 运行SparkSubmit或Spark作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 查看作业配置信息和日志 停止作业 克隆作业 删除作业 使用OBS加密数据运行作业

查看更多 →

据处理中心。 通过 数据治理中心 DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 父主题： 产品功能

查看更多 →

对象存储服务 （Object Storage Service） 对象存储服务（OBS）用于存储用户数据，包括MRS作业输入数据和作业输出数据： MRS作业输入数据：用户程序和数据文件 MRS作业输出数据：作业输出的结果文件和日志文件 MRS中HDFS、Hive、MapReduce、Yarn、

查看更多 →

SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本

查看更多 →

SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本

查看更多 →

删除作业 本章节介绍如何删除MRS作业，作业执行完成后，若不需要再查看使用其相关信息，可以选择删除作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复，请谨慎操作。 操作步骤 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名。 进入集群基本信息页面。

查看更多 →

前往MRS管理控制台进行新建。 MapReduce作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 Jar包资源 是 选择Jar包。在选择Jar

查看更多 →

的相关信息。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。

查看更多 →

云服务事件模型列表 标识 事件源 格式 描述 MRS:Cluster:JobAction MapReduce服务 MRS OPENAPI 3.0 MRS作业事件，仅限页面或API提交的作业。 MRS:Cluster:OperationAction MapReduce服务 MRS OPENAPI

查看更多 →

的相关信息。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。

查看更多 →

WebUI界面。 单击作业。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。

查看更多 →

？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？ Spark作业的Client模式和Cluster模式有什么区别？ 如何查看MRS作业的日志？ 提交作业时系统提示当前用户在Manager不存在如何处理？ LauncherJob作业执行失败，报错信息为“jobPropertiesMap

查看更多 →

默认显示当前集群的所有作业。 “Job Browser”显示的数字表示集群中所有作业的总数。 “Job Browser”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 “Logs” 表示作业的日志信息。如果作业有输出日志，则显示。 “ID” 表示作业的编号，由系统自动生成。 “Name”

查看更多 →

Spark作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 运行模式 是 配置Spark作业的运行模式。

查看更多 →

Flink作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 Flink作业资源包

查看更多 →

个字符。 作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 系统支持作业名称按照作业名称_节点名称格式自动填入。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 脚本类型 是 离线脚本

查看更多 →

nator和Bundles作业的运行情况。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。

查看更多 →

单击“MapReduce服务”，左侧列表单击“集群列表 > 现有集群”。 在现有列表中可以获取到集群名称。 jobName 是 String MRS作业名称 用户自定义。 resourcePath 是 String 自定义Spark Jar包OBS资源路径 parameters 是 String

查看更多 →