创建任务
功能介绍
创建任务。
调试
您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
URI
POST /v1/{project_id}/instances/{instance_id}/lf-jobs
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
project_id |
是 |
String |
项目编号。获取方法,请参见获取项目ID。 |
instance_id |
是 |
String |
LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 |
请求参数
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
X-Auth-Token |
否 |
String |
租户token。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
name |
是 |
String |
任务名称,只能包含中文、字母、数字和下划线,且长度为4到255个字符。 |
description |
否 |
String |
描述,用户可以对创建的任务进行描述,长度在0-4000个字符之间。 |
type |
是 |
String |
METADATA_MIGRATION: 元数据迁移、 PERMISSION_MIGRATION: 数据权限迁移、 METADATA_DISCOVERY: 元数据发现。 |
parameter |
是 |
JobParameter object |
任务参数,根据迁移任务类型由系统确定。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
metadata_migration_parameter |
否 |
MetaDataMigrationParameter object |
元数据迁移参数。 |
permission_migration_parameter |
否 |
PermissionMigrationParameter object |
权限迁移参数。 |
metadata_discovery_parameter |
否 |
MetaDataDiscoveryParameter object |
元数据发现参数。 |
smn_notify |
否 |
Boolean |
该任务是否进行smn通知 |
smn_notify_topic |
否 |
String |
任务通知的smn主题 |
smn_notify_types |
否 |
Array of strings |
任务发起通知的类型,区分成功任务和失败任务,取值为SUCCESS、FAILED。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
datasource_type |
是 |
String |
数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。 |
datasource_parameter |
是 |
DataSourceParameter object |
数据源参数。 |
source_catalog |
是 |
String |
源Catalog,要迁移出的catalog。 |
target_catalog |
是 |
String |
目标Catalog,要迁移至的catalog。 |
conflict_strategy |
是 |
String |
冲突解决策略,UPSERT表示仅创建和更新现有元数据,不删除。 |
log_location |
是 |
String |
日志存放路径,由用户选择。 |
sync_objects |
是 |
Array of strings |
迁移元数据对象数组,DATABASE对应数据库,FUNCTION对应函数,TABLE对应表,PARTITION对应分区。 |
default_owner |
否 |
String |
默认用户信息,由用户确定。 |
locations |
是 |
Array of LocationReplaceRule objects |
路径替换表,由用户确定键值对后生成,最长20条记录。 |
instance_id |
是 |
String |
实例ID。 |
ignore_obs_checked |
否 |
Boolean |
忽略内表建表时对Obs路径的限制。 |
network_type |
否 |
String |
迁移网络类型,包括EIP,VPC_PEERING。 |
accepted_vpc_id |
否 |
String |
对端rds所在的vpcid。 |
security_group_id |
否 |
String |
元数据迁移时数据源所在的vpc的安全组id |
migration_filter_type |
否 |
String |
元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。 |
migration_preference_file_location |
否 |
String |
用于获取元数据迁移指定库表的obs文件路径。 |
migration_preference_file_name |
否 |
String |
元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 |
execute_strategy |
否 |
String |
元数据迁移执行方式:MANNUAL手动执行、SCHEDULE调度执行、默认为MANNUAL。 |
execute_frequency |
否 |
String |
元数据迁移调度执行频率:可选值为MONTHLY每月执行、WEEKLY每周执行、DAILY每日执行、HOURLY每小时执行。 |
execute_day |
否 |
String |
元数据迁移调度执行的日期时间点,当execute_frequency为MONLY每月执行时,该选项表示每月执行的日期,范围为1~31,注意如果当月实际不存在指定日期时则不执行,如选定了execute_frequency为MONLY且execute_day为30时,则2月不会触发元数据发现任务;当execute_frequency为WEEKLY每周执行时,该选项表示每周执行的日期,范围为1~7;当execute_frequency为DAILY每日执行时或HOURLY每小时执行时,该选项值为*,表示每天都会执行。 |
execute_hour |
否 |
String |
元数据迁移调度执行的小时时间点,当execute_frequency为MONLY每月执行时或WEEKLY每周执行时或DAILY每日执行时,该选项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 |
execute_minute |
否 |
String |
元数据迁移调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
migrate_existing_obs_acl |
否 |
Boolean |
是否进行存量OBS路径权限迁移 |
location |
否 |
String |
用于获取权限迁移的obs文件路径。 |
file_name |
否 |
String |
权限json文件,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 |
log_location |
是 |
String |
日志存放路径,由用户选择。 |
target_location |
否 |
String |
HDFS权限迁移的目标桶路径 |
policy_type |
是 |
String |
权限类型:DLF、HDFS、RANGER、LAKEFORMATION、MRS_LOCAL_GAUSSDB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 |
catalog_id |
否 |
String |
dlf权限策略转换需要传入catalog_id字段。 |
instance_id |
是 |
String |
实例ID。 |
ranger_permission_migration_principal_relas |
否 |
ranger的授权主体转换关系。 |
|
datasource_parameter |
否 |
DataSourceParameter object |
数据源参数。 |
security_group_id |
否 |
String |
权限迁移时数据源所在的vpc的安全组id |
locations |
否 |
Array of LocationReplaceRule objects |
路径替换表,由用户确定键值对后生成 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
user_to |
否 |
String |
user转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。 |
user_prefix |
否 |
String |
user转换后的对象名称的前缀。 |
user_suffix |
否 |
String |
user转换后的对象名称的后缀。 |
group_to |
否 |
String |
group转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。 |
group_prefix |
否 |
String |
group转换后的对象名称的前缀。 |
group_suffix |
否 |
String |
group转换后的对象名称的后缀。 |
role_to |
否 |
String |
role转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。 |
role_prefix |
否 |
String |
role转换后的对象名称的前缀。 |
role_suffix |
否 |
String |
role转换后的对象名称的后缀。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
jdbc_url |
否 |
String |
JDBC URL。例如:jdbc:protocol://host:port/db_name。 |
username |
否 |
String |
用户名,只能包含字母、数字,且长度不能超过255个字符。 |
password |
否 |
String |
密码,此值只在创建或更新任务时可能传入,为空值时代表没有密码或不需要更新密码, 查询和列举时不能暴露密码。 |
endpoint |
否 |
String |
endpoint URL。例如:example.com。 |
access_key |
否 |
String |
访问钥匙,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥,查询和列举时不能暴露此密钥。 |
secret_key |
否 |
String |
密钥,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥, 查询和列举时不能暴露此密钥。 |
subnet_ip |
否 |
String |
rds的子网ip |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
data_location |
是 |
String |
数据存储路径,由用户选择。 |
target_catalog |
是 |
String |
目标Catalog,发现元数据后要保存至的catalog。 |
target_database |
是 |
String |
目标database,发现元数据后要保存至的database。 |
conflict_strategy |
是 |
String |
冲突解决策略,UPDATE 表示仅更新现有元数据,不删除,INSERT表示仅创建元数据,不更新,不删除,UPSERT 表示仅创建和更新现有元数据,不删除,ONLY_CREATE_PARTITION表示仅创建分区。 |
file_discovery_type |
是 |
String |
文件发现类型, |- PARQUET open-source columnar storage format for Hadoop CSV stands for Comma Seperated Value JSON stands for Java Script Object Notation ORC stands for Optimized Row Columnar AVRO is a row-oriented remote procedure call and data serialization framework ALL means auto-detected the file types |
separator |
否 |
String |
文件的分隔符,常用的分隔符包括逗号,分号等。 |
quote |
否 |
String |
文件的引号字符,常用的引号字符包括单引号,双引号,\u0000等,取值范围DOUBLE_QUOTE、SINGLE_QUOTE、NULL_QUOTE。 |
escape |
否 |
String |
文件的逃逸字符,常用的逃逸字符有 \。 |
header |
否 |
Boolean |
文件的第一行是否被认为是header,true为第一行是header,false为不是header。默认为false。 |
file_sample_rate |
否 |
Integer |
文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 |
table_depth |
否 |
Integer |
表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为table名,e=1和f=99说明table d 是分区表,并且分区键为e和f,分区值为1和99。 |
log_location |
是 |
String |
日志存放路径,由用户选择。 |
default_owner |
否 |
String |
默认用户信息,默认为创建此任务的用户。 |
principals |
否 |
Array of Principal objects |
主体信息 |
give_write |
否 |
Boolean |
是否赋予写权限,true为赋予,false为不赋予。默认为false, 赋予写权限后授权主体将拥有读写权限。 |
instance_id |
是 |
String |
实例ID |
rediscovery_policy |
否 |
String |
重新发现策略:FULL_DISCOVERY全量发现、INCREMENTAL_DISCOVERY增量发现、默认为FULL_DISCOVERY。 |
execute_strategy |
否 |
String |
元数据发现执行方式:MANNUAL手动执行、SCHEDULE调度执行、默认为MANNUAL。 |
execute_frequency |
否 |
String |
元数据发现调度执行频率:可选值为MONTHLY每月执行、WEEKLY每周执行、DAILY每日执行、HOURLY每小时执行。 |
execute_day |
否 |
String |
元数据发现调度执行的日期时间点,当execute_frequency为MONLY每月执行时,该选项表示每月执行的日期,范围为1~31,注意如果当月实际不存在指定日期时则不执行,如选定了execute_frequency为MONLY且execute_day为30时,则2月不会触发元数据发现任务;当execute_frequency为WEEKLY每周执行时,该选项表示每周执行的日期,范围为1~7;当execute_frequency为DAILY每日执行时或HOURLY每小时执行时,该选项值为*,表示每天都会执行。 |
execute_hour |
否 |
String |
元数据发现调度执行的小时时间点,当execute_frequency为MONLY每月执行时或WEEKLY每周执行时或DAILY每日执行时,该选项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 |
execute_minute |
否 |
String |
元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 |
响应参数
状态码:201
参数 |
参数类型 |
描述 |
---|---|---|
id |
String |
任务ID,创建任务时自动生成。例如:03141229-84cd-4b1b-9733-dd124320c125。 |
name |
String |
任务名称,只能包含中文、字母、数字和下划线,且长度为4到255个字符。 |
description |
String |
用户创建任务时写的描述信息。 |
type |
String |
METADATA_MIGRATION:元数据迁移、 PERMISSION_MIGRATION:数据权限迁移、 METADATA_DISCOVERY:元数据发现。 |
parameter |
JobParameter object |
任务参数。 |
create_time |
String |
任务创建时间戳,根据创建任务时间生成。 |
last_success_run_time |
String |
任务上一次成功运行时间戳,任务运行成功后根据上次执行时间生成。 |
start_time |
String |
上次任务执行时间戳,根据上次任务执行时间生成。 |
status |
String |
当前状态及含义
|
参数 |
参数类型 |
描述 |
---|---|---|
metadata_migration_parameter |
MetaDataMigrationParameter object |
元数据迁移参数。 |
permission_migration_parameter |
PermissionMigrationParameter object |
权限迁移参数。 |
metadata_discovery_parameter |
MetaDataDiscoveryParameter object |
元数据发现参数。 |
smn_notify |
Boolean |
该任务是否进行smn通知 |
smn_notify_topic |
String |
任务通知的smn主题 |
smn_notify_types |
Array of strings |
任务发起通知的类型,区分成功任务和失败任务,取值为SUCCESS、FAILED。 |
参数 |
参数类型 |
描述 |
---|---|---|
datasource_type |
String |
数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。 |
datasource_parameter |
DataSourceParameter object |
数据源参数。 |
source_catalog |
String |
源Catalog,要迁移出的catalog。 |
target_catalog |
String |
目标Catalog,要迁移至的catalog。 |
conflict_strategy |
String |
冲突解决策略,UPSERT表示仅创建和更新现有元数据,不删除。 |
log_location |
String |
日志存放路径,由用户选择。 |
sync_objects |
Array of strings |
迁移元数据对象数组,DATABASE对应数据库,FUNCTION对应函数,TABLE对应表,PARTITION对应分区。 |
default_owner |
String |
默认用户信息,由用户确定。 |
locations |
Array of LocationReplaceRule objects |
路径替换表,由用户确定键值对后生成,最长20条记录。 |
instance_id |
String |
实例ID。 |
ignore_obs_checked |
Boolean |
忽略内表建表时对Obs路径的限制。 |
network_type |
String |
迁移网络类型,包括EIP,VPC_PEERING。 |
accepted_vpc_id |
String |
对端rds所在的vpcid。 |
security_group_id |
String |
元数据迁移时数据源所在的vpc的安全组id |
migration_filter_type |
String |
元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。 |
migration_preference_file_location |
String |
用于获取元数据迁移指定库表的obs文件路径。 |
migration_preference_file_name |
String |
元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 |
execute_strategy |
String |
元数据迁移执行方式:MANNUAL手动执行、SCHEDULE调度执行、默认为MANNUAL。 |
execute_frequency |
String |
元数据迁移调度执行频率:可选值为MONTHLY每月执行、WEEKLY每周执行、DAILY每日执行、HOURLY每小时执行。 |
execute_day |
String |
元数据迁移调度执行的日期时间点,当execute_frequency为MONLY每月执行时,该选项表示每月执行的日期,范围为1~31,注意如果当月实际不存在指定日期时则不执行,如选定了execute_frequency为MONLY且execute_day为30时,则2月不会触发元数据发现任务;当execute_frequency为WEEKLY每周执行时,该选项表示每周执行的日期,范围为1~7;当execute_frequency为DAILY每日执行时或HOURLY每小时执行时,该选项值为*,表示每天都会执行。 |
execute_hour |
String |
元数据迁移调度执行的小时时间点,当execute_frequency为MONLY每月执行时或WEEKLY每周执行时或DAILY每日执行时,该选项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 |
execute_minute |
String |
元数据迁移调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 |
参数 |
参数类型 |
描述 |
---|---|---|
migrate_existing_obs_acl |
Boolean |
是否进行存量OBS路径权限迁移 |
location |
String |
用于获取权限迁移的obs文件路径。 |
file_name |
String |
权限json文件,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 |
log_location |
String |
日志存放路径,由用户选择。 |
target_location |
String |
HDFS权限迁移的目标桶路径 |
policy_type |
String |
权限类型:DLF、HDFS、RANGER、LAKEFORMATION、MRS_LOCAL_GAUSSDB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 |
catalog_id |
String |
dlf权限策略转换需要传入catalog_id字段。 |
instance_id |
String |
实例ID。 |
ranger_permission_migration_principal_relas |
ranger的授权主体转换关系。 |
|
datasource_parameter |
DataSourceParameter object |
数据源参数。 |
security_group_id |
String |
权限迁移时数据源所在的vpc的安全组id |
locations |
Array of LocationReplaceRule objects |
路径替换表,由用户确定键值对后生成 |
参数 |
参数类型 |
描述 |
---|---|---|
user_to |
String |
user转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。 |
user_prefix |
String |
user转换后的对象名称的前缀。 |
user_suffix |
String |
user转换后的对象名称的后缀。 |
group_to |
String |
group转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。 |
group_prefix |
String |
group转换后的对象名称的前缀。 |
group_suffix |
String |
group转换后的对象名称的后缀。 |
role_to |
String |
role转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。 |
role_prefix |
String |
role转换后的对象名称的前缀。 |
role_suffix |
String |
role转换后的对象名称的后缀。 |
参数 |
参数类型 |
描述 |
---|---|---|
jdbc_url |
String |
JDBC URL。例如:jdbc:protocol://host:port/db_name。 |
username |
String |
用户名,只能包含字母、数字,且长度不能超过255个字符。 |
password |
String |
密码,此值只在创建或更新任务时可能传入,为空值时代表没有密码或不需要更新密码, 查询和列举时不能暴露密码。 |
endpoint |
String |
endpoint URL。例如:example.com。 |
access_key |
String |
访问钥匙,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥,查询和列举时不能暴露此密钥。 |
secret_key |
String |
密钥,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥, 查询和列举时不能暴露此密钥。 |
subnet_ip |
String |
rds的子网ip |
参数 |
参数类型 |
描述 |
---|---|---|
data_location |
String |
数据存储路径,由用户选择。 |
target_catalog |
String |
目标Catalog,发现元数据后要保存至的catalog。 |
target_database |
String |
目标database,发现元数据后要保存至的database。 |
conflict_strategy |
String |
冲突解决策略,UPDATE 表示仅更新现有元数据,不删除,INSERT表示仅创建元数据,不更新,不删除,UPSERT 表示仅创建和更新现有元数据,不删除,ONLY_CREATE_PARTITION表示仅创建分区。 |
file_discovery_type |
String |
文件发现类型, |- PARQUET open-source columnar storage format for Hadoop CSV stands for Comma Seperated Value JSON stands for Java Script Object Notation ORC stands for Optimized Row Columnar AVRO is a row-oriented remote procedure call and data serialization framework ALL means auto-detected the file types |
separator |
String |
文件的分隔符,常用的分隔符包括逗号,分号等。 |
quote |
String |
文件的引号字符,常用的引号字符包括单引号,双引号,\u0000等,取值范围DOUBLE_QUOTE、SINGLE_QUOTE、NULL_QUOTE。 |
escape |
String |
文件的逃逸字符,常用的逃逸字符有 \。 |
header |
Boolean |
文件的第一行是否被认为是header,true为第一行是header,false为不是header。默认为false。 |
file_sample_rate |
Integer |
文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 |
table_depth |
Integer |
表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为table名,e=1和f=99说明table d 是分区表,并且分区键为e和f,分区值为1和99。 |
log_location |
String |
日志存放路径,由用户选择。 |
default_owner |
String |
默认用户信息,默认为创建此任务的用户。 |
principals |
Array of Principal objects |
主体信息 |
give_write |
Boolean |
是否赋予写权限,true为赋予,false为不赋予。默认为false, 赋予写权限后授权主体将拥有读写权限。 |
instance_id |
String |
实例ID |
rediscovery_policy |
String |
重新发现策略:FULL_DISCOVERY全量发现、INCREMENTAL_DISCOVERY增量发现、默认为FULL_DISCOVERY。 |
execute_strategy |
String |
元数据发现执行方式:MANNUAL手动执行、SCHEDULE调度执行、默认为MANNUAL。 |
execute_frequency |
String |
元数据发现调度执行频率:可选值为MONTHLY每月执行、WEEKLY每周执行、DAILY每日执行、HOURLY每小时执行。 |
execute_day |
String |
元数据发现调度执行的日期时间点,当execute_frequency为MONLY每月执行时,该选项表示每月执行的日期,范围为1~31,注意如果当月实际不存在指定日期时则不执行,如选定了execute_frequency为MONLY且execute_day为30时,则2月不会触发元数据发现任务;当execute_frequency为WEEKLY每周执行时,该选项表示每周执行的日期,范围为1~7;当execute_frequency为DAILY每日执行时或HOURLY每小时执行时,该选项值为*,表示每天都会执行。 |
execute_hour |
String |
元数据发现调度执行的小时时间点,当execute_frequency为MONLY每月执行时或WEEKLY每周执行时或DAILY每日执行时,该选项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 |
execute_minute |
String |
元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 |
参数 |
参数类型 |
描述 |
---|---|---|
principal_type |
String |
主体类型: USER-用户、 GROUP-组、 ROLE-角色、 SHARE-共享、 OTHER-为其它。 |
principal_source |
String |
主体来源: IAM-云用户、 SAML-联邦用户、 LDAP-ld用户、 LOCAL-本地用户、 AGENTTENANT-委托、 OTHER-其它。 |
principal_name |
String |
主体名称。只能包含中文、字母、数字和_-.特殊字符,且长度为1~49个字符。 |
状态码:400
参数 |
参数类型 |
描述 |
---|---|---|
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
common_error_code |
String |
CBC公共错误码。 |
solution_msg |
String |
解决方案描述。 |
状态码:401
参数 |
参数类型 |
描述 |
---|---|---|
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
common_error_code |
String |
CBC公共错误码。 |
solution_msg |
String |
解决方案描述。 |
状态码:403
参数 |
参数类型 |
描述 |
---|---|---|
error |
Error object |
错误信息。 |
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
title |
String |
标题。 |
参数 |
参数类型 |
描述 |
---|---|---|
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
title |
String |
标题。 |
message |
String |
错误信息。 |
code |
String |
状态码。 |
状态码:404
参数 |
参数类型 |
描述 |
---|---|---|
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
common_error_code |
String |
CBC公共错误码。 |
solution_msg |
String |
解决方案描述。 |
状态码:408
参数 |
参数类型 |
描述 |
---|---|---|
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
common_error_code |
String |
CBC公共错误码。 |
solution_msg |
String |
解决方案描述。 |
状态码:500
参数 |
参数类型 |
描述 |
---|---|---|
error_code |
String |
错误码。 |
error_msg |
String |
错误描述。 |
common_error_code |
String |
CBC公共错误码。 |
solution_msg |
String |
解决方案描述。 |
请求示例
POST https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs
{
"name" : "testjob",
"description" : "testjob",
"type" : "METADATA_MIGRATION",
"parameter" : {
"metadata_migration_parameter" : {
"datasource_type" : "ALIYUN_DLF",
"datasource_parameter" : {
"jdbc_url" : "jdbc:protocol://host:port/db_name",
"username" : "root",
"password" : "password",
"endpoint" : "example.com",
"access_key" : "LTAIxxxxxxxxxxxxxxxxRxPG",
"secret_key" : "12345xxxxxxxxxxxxxxxxNabcdefgh",
"subnet_ip" : "127.0.0.1"
},
"source_catalog" : "sourceCatalog1",
"target_catalog" : "targetCatalog1",
"conflict_strategy" : "UPSERT",
"log_location" : "obs://logStore/2023",
"sync_objects" : [ "string" ],
"default_owner" : "string",
"locations" : [ {
"key" : "test/test1",
"value" : "test2/db"
} ],
"instance_id" : "string",
"ignore_obs_checked" : false,
"network_type" : "EIP",
"accepted_vpc_id" : "13551d6b-755d-4757-b956-536f674975c0"
},
"permission_migration_parameter" : {
"location" : "obs://location/uri/",
"file_name" : "string",
"log_location" : "obs://logStore/2023",
"policy_type" : "DLF",
"catalog_id" : "test_catalog",
"instance_id" : "string",
"ranger_permission_migration_principal_relas" : {
"user_to" : "IAM_USER",
"user_prefix" : "string",
"user_suffix" : "string",
"group_to" : "IAM_USER",
"group_prefix" : "string",
"group_suffix" : "string",
"role_to" : "IAM_USER",
"role_prefix" : "string",
"role_suffix" : "string"
}
},
"metadata_discovery_parameter" : {
"data_location" : "obs://logStore/2023",
"target_catalog" : "targetCatalog1",
"target_database" : "targetCatalog1",
"conflict_strategy" : "UPDATE",
"file_discovery_type" : "PARQUET",
"separator" : ",",
"quote" : "DOUBLE_QUOTE",
"escape" : "\\",
"header" : false,
"file_sample_rate" : 100,
"table_depth" : 3,
"log_location" : "obs://logStore/2023",
"default_owner" : "testOwner",
"principals" : [ {
"principal_type" : "USER",
"principal_source" : "IAM",
"principal_name" : "user1"
} ],
"give_write" : false,
"instance_id" : "abcdefgh12345678abcdefgh12345678",
"rediscovery_policy" : "FULL_DISCOVERY",
"execute_strategy" : "MANNUAL",
"execute_frequency" : "MONTHLY",
"execute_day" : 1,
"execute_hour" : 1,
"execute_minute" : 1
}
}
}
响应示例
状态码:201
创建任务成功
{
"id" : "03141229-84cd-4b1b-9733-dd124320c125",
"name" : "testjob",
"description" : "testJob",
"type" : "METADATA_MIGRATION",
"parameter" : {
"metadata_migration_parameter" : {
"datasource_type" : "ALIYUN_DLF",
"datasource_parameter" : {
"endpoint" : "protocol://example.com"
},
"source_catalog" : "sourceCatalog1",
"target_catalog" : "targetCatalog1",
"conflict_strategy" : "UPDATE",
"log_location" : "obs://logStore/2023",
"sync_objects" : [ "DATABASE" ],
"locations" : [ {
"key" : "test/test1",
"value" : "test2/db"
} ]
}
},
"status" : {
"status" : "SUCCESS"
}
}
状态码:400
Bad Request
{
"error_code" : "common.01000001",
"error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException"
}
状态码:401
Unauthorized
{
"error_code": 'APIG.1002',
"error_msg": 'Incorrect token or token resolution failed'
}
状态码:403
Forbidden
{
"error" : {
"code" : "403",
"message" : "X-Auth-Token is invalid in the request",
"error_code" : null,
"error_msg" : null,
"title" : "Forbidden"
},
"error_code" : "403",
"error_msg" : "X-Auth-Token is invalid in the request",
"title" : "Forbidden"
}
状态码:404
Not Found
{
"error_code" : "common.01000001",
"error_msg" : "response status exception, code: 404"
}
状态码:408
Request Timeout
{
"error_code" : "common.00000408",
"error_msg" : "timeout exception occurred"
}
状态码:500
Internal Server Error
{
"error_code" : "common.00000500",
"error_msg" : "internal error"
}
状态码
状态码 |
描述 |
---|---|
201 |
创建任务成功 |
400 |
Bad Request |
401 |
Unauthorized |
403 |
Forbidden |
404 |
Not Found |
408 |
Request Timeout |
500 |
Internal Server Error |
错误码
请参见错误码。