创建专业版事件流作业
功能介绍
创建专业版事件流作业
URI
POST /v1/{project_id}/eventrouter/jobs
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
project_id |
是 |
String |
租户资源空间ID |
请求参数
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
X-Auth-Token |
是 |
String |
用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
cluster_id |
是 |
String |
专业版事件流集群ID |
name |
是 |
String |
作业名称。约束:作业名称由大小英文字母、数字、点、中划线和下划线组成,必须以大小英文字母或数字开头,最多128个字符。 |
description |
否 |
String |
作业描述,约束:作业描述不能超过256位。 |
scene_type |
是 |
String |
场景类型,DISASTER_BACKUP:同步任务 |
source_config |
否 |
EventRouterJobSource object |
专业版事件流作业源端配置 |
sink_config |
否 |
EventRouterJobSink object |
专业版事件流作业目标端配置 |
advance_config |
否 |
EventRouterAdvanceConfig object |
专业版事件流作业高级配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
source_kafka |
否 |
KafkaParameters object |
kafka配置 |
source_rocketmq |
否 |
RocketmqParameters object |
rocketmq配置 |
source_dcs |
否 |
DcsParameters object |
dcs配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
sink_kafka |
否 |
KafkaParameters object |
kafka配置 |
sink_rocketmq |
否 |
RocketmqParameters object |
rocketmq配置 |
sink_dcs |
否 |
DcsParameters object |
dcs配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
config_type |
是 |
String |
实例类型 CLOUD:云服务DMS kafka实例 |
region |
是 |
String |
区域ID |
project_id |
是 |
String |
资源空间ID |
instance_id |
否 |
String |
kafka实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
是 |
String |
kafka集群别名 |
address |
否 |
String |
kafka地址 |
authenticate_mode |
否 |
String |
kafka认证方式 |
sasl_mechanism |
否 |
String |
SASL认证机制 |
user_name |
否 |
String |
用户名,开启SASL_SSL时必填 |
password |
否 |
String |
用户密码,开启SASL_SSL时必填 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
config_type |
是 |
String |
实例类型。 CLOUD:云服务DMS Rocketmq实例 |
region |
是 |
String |
区域id |
project_id |
是 |
String |
资源空间ID |
instance_id |
否 |
String |
rocketmq实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
是 |
String |
rocketmq集群别名 |
address |
否 |
String |
rocketmq地址 |
ssl_open |
否 |
String |
rocketmq SSL开关 true: 开启 false: 关闭 |
acl_open |
否 |
Boolean |
rocketmq ACL开关 true: 开启 false: 关闭 |
user_name |
否 |
String |
用户名,开启ACL时必填 |
password |
否 |
String |
用户密码,开启ACL时必填 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
config_type |
是 |
String |
实例类型 CLOUD:云服务DCS实例 |
region |
是 |
String |
区域id |
project_id |
是 |
String |
资源空间ID |
instance_id |
否 |
String |
dcs实例ID,配置类型选择CLOUD时必填 |
address |
否 |
String |
dcs地址 |
password |
否 |
String |
用户密码 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
kafka2kafka |
否 |
Kafka2KafkaAdvanceConfig object |
kafka同步自定义配置 |
rocketmq2rocketmq |
否 |
rocketmq同步自定义配置 |
|
dcs2dcs |
否 |
Dcs2DcsAdvanceConfig object |
dcs同步自定义配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
topics |
否 |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
否 |
String |
要同步的topic正则表达式,与topics参数二选一 |
replica_cnt |
是 |
Integer |
副本数,不能大于broker数量 |
seek_to |
是 |
String |
数据同步点 |
compress_alg |
是 |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 snappy:snappy压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
is_sync_progress |
是 |
Boolean |
是否同步消费进度 true:同步 false:不同步 |
is_add_header |
是 |
Boolean |
是否添加来源Header |
rename_topic |
否 |
Boolean |
是否重命名Topic |
topic_mappings |
否 |
Array of KafkaTopicMapping objects |
topic映射 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
topics |
否 |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
否 |
String |
要同步的topic正则表达式,与topics参数二选一 |
is_sync_progress |
是 |
Boolean |
是否同步消费进度 |
seek_to |
是 |
String |
数据同步点 最早(first),最新(last),自定义时间戳(long类型) |
compress_alg |
是 |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
synchronize_type |
是 |
String |
同步类型 默认全量加增量 |
connect_retry_time |
是 |
String |
无法连接后重试时间,默认60秒 |
other_retry_time |
是 |
String |
出现其他问题后的重试时间,默认60秒 |
use_rate_limit |
否 |
Boolean |
是否限制增量同步速率,默认5MS/s true:限制 false:不限制 |
rate_limit |
否 |
String |
限制增量同步速率,默认5MB/s |
use_salve_node |
否 |
Boolean |
是否使用Slave节点 true:使用从节点同步数据 false:不使用从节点同步数据,即使用主节点 |
响应参数
状态码:200
参数 |
参数类型 |
描述 |
---|---|---|
X-Request-Id |
String |
请求ID |
参数 |
参数类型 |
描述 |
---|---|---|
cluster_id |
String |
专业版事件流集群ID |
job_id |
String |
专业版事件流作业ID |
name |
String |
作业名称。约束:作业名称由大小英文字母、数字、点、中划线和下划线组成,必须以大小英文字母或数字开头,最多128个字符。 |
description |
String |
作业描述,约束:作业描述不能超过256位。 |
scene_type |
String |
场景类型 |
source_type |
String |
源端类型 |
sink_type |
String |
目标端类型 |
subnet_id |
String |
子网ID |
vpc_id |
String |
虚拟私有云ID |
source_config |
EventRouterJobSource object |
专业版事件流作业源端配置 |
sink_config |
EventRouterJobSink object |
专业版事件流作业目标端配置 |
advance_config |
EventRouterAdvanceConfig object |
专业版事件流作业高级配置 |
status |
String |
作业状态 |
err_code |
String |
错误码 |
err_message |
String |
错误原因 |
created_time |
String |
创建UTC时间 |
updated_time |
String |
更新UTC时间 |
sink_status |
String |
目标端连通性状态 |
sink_status_info |
String |
目标端连通性状态信息 |
source_status |
String |
源端连通性状态 |
source_status_info |
String |
源端连通性状态信息 |
log_group_id |
String |
用户侧保存事件流作业日志的日志组ID |
log_stream_id |
String |
用户侧保存事件流作业日志的日志流ID |
参数 |
参数类型 |
描述 |
---|---|---|
source_kafka |
KafkaParameters object |
kafka配置 |
source_rocketmq |
RocketmqParameters object |
rocketmq配置 |
source_dcs |
DcsParameters object |
dcs配置 |
参数 |
参数类型 |
描述 |
---|---|---|
sink_kafka |
KafkaParameters object |
kafka配置 |
sink_rocketmq |
RocketmqParameters object |
rocketmq配置 |
sink_dcs |
DcsParameters object |
dcs配置 |
参数 |
参数类型 |
描述 |
---|---|---|
config_type |
String |
实例类型 CLOUD:云服务DMS kafka实例 |
region |
String |
区域ID |
project_id |
String |
资源空间ID |
instance_id |
String |
kafka实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
String |
kafka集群别名 |
address |
String |
kafka地址 |
authenticate_mode |
String |
kafka认证方式 |
sasl_mechanism |
String |
SASL认证机制 |
user_name |
String |
用户名,开启SASL_SSL时必填 |
password |
String |
用户密码,开启SASL_SSL时必填 |
参数 |
参数类型 |
描述 |
---|---|---|
config_type |
String |
实例类型。 CLOUD:云服务DMS Rocketmq实例 |
region |
String |
区域id |
project_id |
String |
资源空间ID |
instance_id |
String |
rocketmq实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
String |
rocketmq集群别名 |
address |
String |
rocketmq地址 |
ssl_open |
String |
rocketmq SSL开关 true: 开启 false: 关闭 |
acl_open |
Boolean |
rocketmq ACL开关 true: 开启 false: 关闭 |
user_name |
String |
用户名,开启ACL时必填 |
password |
String |
用户密码,开启ACL时必填 |
参数 |
参数类型 |
描述 |
---|---|---|
config_type |
String |
实例类型 CLOUD:云服务DCS实例 |
region |
String |
区域id |
project_id |
String |
资源空间ID |
instance_id |
String |
dcs实例ID,配置类型选择CLOUD时必填 |
address |
String |
dcs地址 |
password |
String |
用户密码 |
参数 |
参数类型 |
描述 |
---|---|---|
kafka2kafka |
Kafka2KafkaAdvanceConfig object |
kafka同步自定义配置 |
rocketmq2rocketmq |
rocketmq同步自定义配置 |
|
dcs2dcs |
Dcs2DcsAdvanceConfig object |
dcs同步自定义配置 |
参数 |
参数类型 |
描述 |
---|---|---|
topics |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
String |
要同步的topic正则表达式,与topics参数二选一 |
replica_cnt |
Integer |
副本数,不能大于broker数量 |
seek_to |
String |
数据同步点 |
compress_alg |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 snappy:snappy压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
is_sync_progress |
Boolean |
是否同步消费进度 true:同步 false:不同步 |
is_add_header |
Boolean |
是否添加来源Header |
rename_topic |
Boolean |
是否重命名Topic |
topic_mappings |
Array of KafkaTopicMapping objects |
topic映射 |
参数 |
参数类型 |
描述 |
---|---|---|
topics |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
String |
要同步的topic正则表达式,与topics参数二选一 |
is_sync_progress |
Boolean |
是否同步消费进度 |
seek_to |
String |
数据同步点 最早(first),最新(last),自定义时间戳(long类型) |
compress_alg |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
参数 |
参数类型 |
描述 |
---|---|---|
synchronize_type |
String |
同步类型 默认全量加增量 |
connect_retry_time |
String |
无法连接后重试时间,默认60秒 |
other_retry_time |
String |
出现其他问题后的重试时间,默认60秒 |
use_rate_limit |
Boolean |
是否限制增量同步速率,默认5MS/s true:限制 false:不限制 |
rate_limit |
String |
限制增量同步速率,默认5MB/s |
use_salve_node |
Boolean |
是否使用Slave节点 true:使用从节点同步数据 false:不使用从节点同步数据,即使用主节点 |
请求示例
创建名为xxx的专业版事件流作业
POST https://{eg_endpoint}/v1/{project_id}/eventrouter/jobs
{
"cluster_id": "fac59513-6c18-4266-bc81-5d412dfc1925",
"name": "eventRoute-qapbtr95",
"scene_type": "DISASTER_BACKUP",
"description": "",
"source_config": [
{
"source_kafka": [
{
"config_type": "CLOUD",
"region": "roma-dev-1",
"project_id": "cb13a5c409fe40599271f44bbea5a2ad",
"instance_id": "cdecf0b0-35b8-461b-a430-d7cd02d3d712",
"cluster_alias": "aa",
"address": "21.22.0.58:9092",
"user_name": "",
"password": null,
"authenticate_mode": "PLAINTEXT",
"sasl_mechanism": ""
}
],
}
],
"sink_config": [
{
"sink_kafka": [
{
"config_type": "CLOUD",
"region": "roma-dev-1",
"project_id": "cb13a5c409fe40599271f44bbea5a2ad",
"instance_id": "47896f0e-f90a-4528-b407-78ee00362cc9",
"cluster_alias": "bb",
"address": "21.22.0.175:9092",
"user_name": null,
"password": null,
"authenticate_mode": "PLAINTEXT",
"sasl_mechanism": ""
}
],
}
],
"advance_config": [
{
"kafka2kafka": [
{
"topics": "t01",
"topic_regex": "",
"task_cnt": null,
"topic_mappings": [],
"rename_topic": false,
"is_add_header": false,
"is_sync_progress": false,
"replica_cnt": 1,
"seek_to": "earliest",
"compress_alg": "none"
}
]
}
]
}
响应示例
状态码:200
请求成功
{
"cluster_id" : "fac59513-6c18-4266-bc81-5d412dfc1925",
"job_id" : "fac59513-6c18-4266-bc81-5d412dfc1925",
"name" : "eventRoute-ifpcv5u4",
"description" : "",
"scene_type" : "DISASTER_BACKUP",
"source_type" : "KAFKA",
"source_config" : null,
"sink_type" : "KAFKA",
"sink_config" : null,
"advance_config" : null,
"status" : "CREATING",
"err_code" : null,
"err_message" : null,
"created_time" : "2024-05-16T11:46:07Z",
"updated_time" : "2024-05-16T11:46:07Z",
"vpc_id" : "199f632d-34e7-4915-b4d8-1bc4e2824867",
"subnet_id" : "0d1799e1-116e-4551-92dc-02dd8a860072"
}
状态码
状态码 |
描述 |
---|---|
200 |
请求成功 |
错误码
请参见错误码。