数据湖工厂 DLF
数据湖工厂 DLF
- 最新动态
- 产品介绍
-
用户指南
- 环境准备
- IAM权限管理
- 数据管理
- 数据集成
- 数据开发
- 解决方案
- 运维调度
- 配置管理
- 配置
- 使用教程
-
参考
-
节点
- 节点概述
- CDM Job
- DIS Stream
- DIS Dump
- DIS Client
- Rest Client
- Import GES
- MRS Kafka
- Kafka Client
- CS Job
- DLI SQL
- DLI Spark
- DWS SQL
- MRS SparkSQL
- MRS Hive SQL
- MRS Presto SQL
- MRS Spark
- MRS Spark Python
- MRS Flink Job
- MRS MapReduce
- CSS
- Shell
- RDS SQL
- ETL Job
- OCR
- Create OBS
- Delete OBS
- OBS Manager
- Open/Close Resource
- Data Quality Monitor
- Sub Job
- SMN
- Dummy
- For Each
- 表达式
-
节点
- 修订记录
- API参考
- 常见问题
- 产品术语
- 通用参考
链接复制成功!
MRS Spark Python
功能
通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。
参数
用户可参考表1和表2配置MRS Spark Python节点的参数。
参数 |
是否必选 |
说明 |
---|---|---|
节点名称 |
是 |
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 |
MRS集群名 |
是 |
选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群,请先测试运行,保证集群支持。
如需新建集群,请参考以下方法:
如何新建集群,请参见《MapReduce服务用户指南》的创建集群。 |
作业名称 |
是 |
输入MRS Spark Python作业名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。 |
参数 |
是 |
输入MRS的执行程序参数,多个参数间使用Enter键分隔。 |
属性 |
否 |
输入key=value格式的参数,多个参数间使用Enter键分割。 |
父主题: 节点