更新时间:2024-10-29 GMT+08:00
分享

自定义参数说明

在目的端配置中,支持配置的自定义参数及说明请参见表1conf参数说明

表1 支持的自定义参数说明

参数名称

取值范围

说明

是否必填

spark.dli.metaAccess.enable

-

填写true。

spark.dli.job.agency.name

填写DLI委托权限名称

mgc.mc2dli.data.migration.dli.file.path

填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar

mgc.mc2dli.data.migration.dli.spark.jars

填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]

spark.sql.catalog.mc_catalog.tableWriteProvider

填写tunnel

专线迁移场景为必填

spark.sql.catalog.mc_catalog.tableReadProvider

填写tunnel

spark.hadoop.odps.end.point

填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。例如:源端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api”

spark.hadoop.odps.tunnel.end.point

填写源端MaxCompute服务所在地域的VPC网络Tunnel Endpoin信息。各地域VPC网络Tunnel Endpoin信息请参考Endpoint对照表。例如:源端所在地域为“香港”,则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com”

sc_type

A、B、C

计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。

  • A:(8核32G内存,driverCores:2,executorCores:1,driverMemory:7G,executorMemory:4G,numExecutor:6)
  • B:(16核64G内存,driverCores:2,executorCores:2,driverMemory:7G,executorMemory:8G,numExecutor:7)
  • C:(32核128G内存,driverCores:4,executorCores:2,driverMemory:15G,executorMemory:8G,numExecutor:14)

executorCores

1- 4

Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。

numExecutors

1-100

Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。

executorMemory

1-16 G

Spark应用的Executor内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必需带单位,否则会启动失败。

driverCores

1-4

Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。

driverMemory

1-16 G

Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必需带单位,否则会启动失败。

相关文档