自定义参数说明
在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。
参数名称 |
取值范围 |
说明 |
是否必填 |
---|---|---|---|
spark.dli.metaAccess.enable |
- |
填写true。 |
是 |
spark.dli.job.agency.name |
填写DLI委托权限名称。 |
||
mgc.mc2dli.data.migration.dli.file.path |
填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar |
||
mgc.mc2dli.data.migration.dli.spark.jars |
填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] |
||
spark.sql.catalog.mc_catalog.tableWriteProvider |
填写tunnel |
专线迁移场景为必填 |
|
spark.sql.catalog.mc_catalog.tableReadProvider |
填写tunnel |
||
spark.hadoop.odps.end.point |
填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。例如:源端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” |
||
spark.hadoop.odps.tunnel.end.point |
填写源端MaxCompute服务所在地域的VPC网络Tunnel Endpoin信息。各地域VPC网络Tunnel Endpoin信息请参考Endpoint对照表。例如:源端所在地域为“香港”,则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” |
||
sc_type |
A、B、C |
计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。
|
否 |
executorCores |
1- 4 |
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 |
|
numExecutors |
1-100 |
Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 |
|
executorMemory |
1-16 G |
Spark应用的Executor内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必需带单位,否则会启动失败。 |
|
driverCores |
1-4 |
Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 |
|
driverMemory |
1-16 G |
Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必需带单位,否则会启动失败。 |