自定义参数说明

spark.dli.metaAccess.enable

-

填写true。

是

spark.dli.job.agency.name

填写DLI委托权限名称。

mgc.mc2dli.data.migration.dli.file.path

填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如：obs://mgc-test/data/migration-dli-spark-1.0.0.jar

mgc.mc2dli.data.migration.dli.spark.jars

填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]

spark.sql.catalog.mc_catalog.tableWriteProvider

填写tunnel

专线迁移场景为必填

spark.sql.catalog.mc_catalog.tableReadProvider

填写tunnel

spark.hadoop.odps.end.point

填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api”

spark.hadoop.odps.tunnel.end.point

填写源端MaxCompute服务所在地域的VPC网络Tunnel Endpoin信息。各地域VPC网络Tunnel Endpoin信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com”

sc_type

A、B、C

计算资源类型，目前指定参数A, B, C。如果不指定，则按最小类型创建。

• A：(8核32G内存，driverCores：2，executorCores：1，driverMemory：7G，executorMemory：4G，numExecutor：6)
• B：(16核64G内存，driverCores：2，executorCores：2，driverMemory：7G，executorMemory：8G，numExecutor：7)
• C：(32核128G内存，driverCores：4，executorCores：2，driverMemory：15G，executorMemory：8G，numExecutor：14)

否

executorCores

1- 4

Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。

numExecutors

1-100

Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。

executorMemory

1-16 G

Spark应用的Executor内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。

driverCores

1-4

Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。

driverMemory

1-16 G

Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。