更新时间:2024-10-22 GMT+08:00
分享

获取任务详情

功能介绍

获取任务详情。

调试

您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。

URI

GET /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

项目编号。获取方法,请参见获取项目ID

instance_id

String

LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。

job_id

String

任务ID

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

String

租户token。

响应参数

状态码: 200

表3 响应Body参数

参数

参数类型

描述

id

String

任务ID,创建任务时自动生成。例如:03141229-84cd-4b1b-9733-dd124320c125。

name

String

任务名称,只能包含中文、字母、数字和下划线,且长度为4到255个字符。

description

String

用户创建任务时写的描述信息。

type

String

METADATA_MIGRATION:元数据迁移、 PERMISSION_MIGRATION:数据权限迁移、 METADATA_DISCOVERY:元数据发现。

枚举值:

  • METADATA_MIGRATION

  • PERMISSION_MIGRATION

  • METADATA_DISCOVERY

parameter

JobParameter object

任务参数。

create_time

String

任务创建时间戳,根据创建任务时间生成。

last_success_run_time

String

任务上一次成功运行时间戳,任务运行成功后根据上次执行时间生成。

start_time

String

上次任务执行时间戳,根据上次任务执行时间生成。

status

String

当前状态及含义

  • CREATED:已创建

  • SUBMITTED:已提交

  • RUNNING:运行中

  • SUCCESS:成功

  • FAILED:失败

  • STOPPED:已停止

  • FROZEN_RELEASABLE:冻结可恢复

  • FROZEN_UNRELEASABLE:冻结不可恢复

  • PARTIAL_SUCCESS:部分成功

枚举值:

  • CREATED

  • SUBMITTED

  • RUNNING

  • SUCCESS

  • FAILED

  • STOPPED

  • FROZEN_RELEASABLE

  • FROZEN_UNRELEASABLE

  • PARTIAL_SUCCESS

表4 JobParameter

参数

参数类型

描述

metadata_migration_parameter

MetaDataMigrationParameter object

元数据迁移参数。

permission_migration_parameter

PermissionMigrationParameter object

权限迁移参数。

metadata_discovery_parameter

MetaDataDiscoveryParameter object

元数据发现参数。

smn_notify

Boolean

该任务是否进行smn通知

smn_notify_topic

String

任务通知的smn主题

smn_notify_types

Array of strings

任务发起通知的类型,区分成功任务和失败任务,取值为SUCCESS、FAILED。

枚举值:

  • SUCCESS

  • FAILED

表5 MetaDataMigrationParameter

参数

参数类型

描述

datasource_type

String

数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。

枚举值:

  • ALIYUN_DLF

  • MRS_RDS_FOR_MYSQL

  • OPEN_FOR_MYSQL

  • MRS_RDS_FOR_PG

  • MRS_LOCAL_GAUSSDB

datasource_parameter

DataSourceParameter object

数据源参数。

source_catalog

String

源Catalog,要迁移出的catalog。

target_catalog

String

目标Catalog,要迁移至的catalog。

conflict_strategy

String

冲突解决策略,UPSERT表示仅创建和更新现有元数据,不删除。

枚举值:

  • UPSERT

log_location

String

日志存放路径,由用户选择。

sync_objects

Array of strings

迁移元数据对象数组,DATABASE对应数据库,FUNCTION对应函数,TABLE对应表,PARTITION对应分区。

枚举值:

  • DATABASE

  • FUNCTION

  • TABLE

  • PARTITION

default_owner

String

默认用户信息,由用户确定。

locations

Array of LocationReplaceRule objects

路径替换表,由用户确定键值对后生成,最长20条记录。

instance_id

String

实例ID。

ignore_obs_checked

Boolean

忽略内表建表时对Obs路径的限制。

network_type

String

迁移网络类型,包括EIP,VPC_PEERING。

枚举值:

  • EIP

  • VPC_PEERING

accepted_vpc_id

String

对端rds所在的vpcid。

security_group_id

String

元数据迁移时数据源所在的vpc的安全组id

migration_filter_type

String

元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。

枚举值:

  • BY_TYPE

  • BY_PREFERENCE

migration_preference_file_location

String

用于获取元数据迁移指定库表的obs文件路径。

migration_preference_file_name

String

元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。

表6 PermissionMigrationParameter

参数

参数类型

描述

migrate_existing_obs_acl

Boolean

是否进行存量OBS路径权限迁移

location

String

用于获取权限迁移的obs文件路径。

file_name

String

权限json文件,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。

log_location

String

日志存放路径,由用户选择。

target_location

String

HDFS权限迁移的目标桶路径

policy_type

String

权限类型:DLF、HDFS、RANGER、LAKEFORMATION、MRS_LOCAL_GAUSSDB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库

枚举值:

  • DLF

  • HDFS

  • RANGER

  • LAKEFORMATION

  • MRS_RDS_FOR_PG

  • MRS_LOCAL_GAUSSDB

  • MRS_RDS_FOR_MYSQL

catalog_id

String

dlf权限策略转换需要传入catalog_id字段。

instance_id

String

实例ID。

ranger_permission_migration_principal_relas

RangerPermissionMigrationPrincipalRelas object

ranger的授权主体转换关系。

datasource_parameter

DataSourceParameter object

数据源参数。

security_group_id

String

权限迁移时数据源所在的vpc的安全组id

locations

Array of LocationReplaceRule objects

路径替换表,由用户确定键值对后生成

表7 RangerPermissionMigrationPrincipalRelas

参数

参数类型

描述

user_to

String

user转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。

枚举值:

  • IAM_USER

  • IAM_GROUP

  • ROLE

user_prefix

String

user转换后的对象名称的前缀。

user_suffix

String

user转换后的对象名称的后缀。

group_to

String

group转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。

枚举值:

  • IAM_USER

  • IAM_GROUP

  • ROLE

group_prefix

String

group转换后的对象名称的前缀。

group_suffix

String

group转换后的对象名称的后缀。

role_to

String

role转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组, ROLE为角色。

枚举值:

  • IAM_USER

  • IAM_GROUP

  • ROLE

role_prefix

String

role转换后的对象名称的前缀。

role_suffix

String

role转换后的对象名称的后缀。

表8 DataSourceParameter

参数

参数类型

描述

jdbc_url

String

JDBC URL。例如:jdbc:protocol://host:port/db_name。

username

String

用户名,只能包含字母、数字,且长度不能超过255个字符。

password

String

密码,此值只在创建或更新任务时可能传入,为空值时代表没有密码或不需要更新密码, 查询和列举时不能暴露密码。

endpoint

String

endpoint URL。例如:example.com。

access_key

String

访问钥匙,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥,查询和列举时不能暴露此密钥。

secret_key

String

密钥,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥, 查询和列举时不能暴露此密钥。

subnet_ip

String

rds的子网ip

表9 LocationReplaceRule

参数

参数类型

描述

key

String

键,源路径。

value

String

值,替换路径。

表10 MetaDataDiscoveryParameter

参数

参数类型

描述

data_location

String

数据存储路径,由用户选择。

target_catalog

String

目标Catalog,发现元数据后要保存至的catalog。

target_database

String

目标database,发现元数据后要保存至的database。

conflict_strategy

String

冲突解决策略,UPDATE 表示仅更新现有元数据,不删除,INSERT表示仅创建元数据,不更新,不删除,UPSERT 表示仅创建和更新现有元数据,不删除。

枚举值:

  • UPDATE

  • INSERT

  • UPSERT

file_discovery_type

String

文件发现类型, |- PARQUET open-source columnar storage format for Hadoop CSV stands for Comma Seperated Value JSON stands for Java Script Object Notation ORC stands for Optimized Row Columnar AVRO is a row-oriented remote procedure call and data serialization framework ALL means auto-detected the file types

枚举值:

  • PARQUET

  • CSV

  • JSON

  • ORC

  • AVRO

  • ALL

separator

String

文件的分隔符,常用的分隔符包括逗号,分号等。

quote

String

文件的引号字符,常用的引号字符包括单引号,双引号,\u0000等,取值范围DOUBLE_QUOTE、SINGLE_QUOTE、NULL_QUOTE。

枚举值:

  • DOUBLE_QUOTE

  • SINGLE_QUOTE

  • NULL_QUOTE

escape

String

文件的逃逸字符,常用的逃逸字符有 \。

header

Boolean

文件的第一行是否被认为是header,true为第一行是header,false为不是header。默认为false。

file_sample_rate

Integer

文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。

table_depth

Integer

表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为table名,e=1和f=99说明table d 是分区表,并且分区键为e和f,分区值为1和99。

log_location

String

日志存放路径,由用户选择。

default_owner

String

默认用户信息,默认为创建此任务的用户。

principals

Array of Principal objects

主体信息

give_write

Boolean

是否赋予写权限,true为赋予,false为不赋予。默认为false, 赋予写权限后授权主体将拥有读写权限。

instance_id

String

实例ID

rediscovery_policy

String

重新发现策略:FULL_DISCOVERY全量发现、INCREMENTAL_DISCOVERY增量发现、默认为FULL_DISCOVERY。

枚举值:

  • FULL_DISCOVERY

  • INCREMENTAL_DISCOVERY

execute_strategy

String

元数据发现执行方式:MANNUAL手动执行、SCHEDULE调度执行、默认为MANNUAL。

枚举值:

  • MANNUAL

  • SCHEDULE

execute_frequency

String

元数据发现调度执行频率:可选值为MONTHLY每月执行、WEEKLY每周执行、DAILY每日执行、HOURLY每小时执行。

枚举值:

  • MONTHLY

  • WEEKLY

  • DAILY

  • HOURLY

execute_day

String

元数据发现调度执行的日期时间点,当execute_frequency为MONLY每月执行时,该选项表示每月执行的日期,范围为1~31,注意如果当月实际不存在指定日期时则不执行,如选定了execute_frequency为MONLY且execute_day为30时,则2月不会触发元数据发现任务;当execute_frequency为WEEKLY每周执行时,该选项表示每周执行的日期,范围为1~7;当execute_frequency为DAILY每日执行时或HOURLY每小时执行时,该选项值为*,表示每天都会执行。

execute_hour

String

元数据发现调度执行的小时时间点,当execute_frequency为MONLY每月执行时或WEEKLY每周执行时或DAILY每日执行时,该选项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。

execute_minute

String

元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。

表11 Principal

参数

参数类型

描述

principal_type

String

主体类型: USER-用户、 GROUP-组、 ROLE-角色、 SHARE-共享、 OTHER-为其它。

枚举值:

  • USER

  • GROUP

  • ROLE

  • SHARE

  • OTHER

principal_source

String

主体来源: IAM-云用户、 SAML-联邦用户、 LDAP-ld用户、 LOCAL-本地用户、 AGENTTENANT-委托、 OTHER-其它。

枚举值:

  • IAM

  • SAML

  • LDAP

  • LOCAL

  • AGENTTENANT

  • OTHER

principal_name

String

主体名称。只能包含中文、字母、数字和_-.特殊字符,且长度为1~49个字符。

状态码: 400

表12 响应Body参数

参数

参数类型

描述

error_code

String

错误码。

error_msg

String

错误描述。

common_error_code

String

CBC公共错误码。

solution_msg

String

解决方案描述。

状态码: 404

表13 响应Body参数

参数

参数类型

描述

error_code

String

错误码。

error_msg

String

错误描述。

common_error_code

String

CBC公共错误码。

solution_msg

String

解决方案描述。

状态码: 500

表14 响应Body参数

参数

参数类型

描述

error_code

String

错误码。

error_msg

String

错误描述。

common_error_code

String

CBC公共错误码。

solution_msg

String

解决方案描述。

请求示例

GET https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}

响应示例

状态码: 200

获取任务详情成功

{
  "id" : "03141229-84cd-4b1b-9733-dd124320c125",
  "name" : "testjob",
  "description" : "testJob",
  "type" : "METADATA_MIGRATION",
  "parameter" : {
    "metadata_migration_parameter" : {
      "datasource_type" : "ALIYUN_DLF",
      "datasource_parameter" : {
        "endpoint" : "protocol://example.com"
      },
      "source_catalog" : "sourceCatalog1",
      "target_catalog" : "targetCatalog1",
      "conflict_strategy" : "UPDATE",
      "log_location" : "obs://logStore/2023",
      "sync_objects" : [ "DATABASE" ],
      "locations" : [ {
        "key" : "test/test1",
        "value" : "test2/db"
      } ]
    }
  },
  "status" : {
    "status" : "SUCCESS"
  }
}

状态码: 400

Bad Request

{
  "error_code" : "common.01000001",
  "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException"
}

状态码: 401

Unauthorized

{
  "error_code": 'APIG.1002',
  "error_msg": 'Incorrect token or token resolution failed'
}

状态码: 403

Forbidden

{
  "error" : {
    "code" : "403",
    "message" : "X-Auth-Token is invalid in the request",
    "error_code" : null,
    "error_msg" : null,
    "title" : "Forbidden"
  },
  "error_code" : "403",
  "error_msg" : "X-Auth-Token is invalid in the request",
  "title" : "Forbidden"
}

状态码: 404

Not Found

{
  "error_code" : "common.01000001",
  "error_msg" : "response status exception, code: 404"
}

状态码: 408

Request Timeout

{
  "error_code" : "common.00000408",
  "error_msg" : "timeout exception occurred"
}

状态码: 500

Internal Server Error

{
  "error_code" : "common.00000500",
  "error_msg" : "internal error"
}

状态码

状态码

描述

200

获取任务详情成功

400

Bad Request

401

Unauthorized

403

Forbidden

404

Not Found

408

Request Timeout

500

Internal Server Error

错误码

请参见错误码

相关文档