创建专业版事件流作业
功能介绍
创建专业版事件流作业
调试
您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
URI
POST /v1/{project_id}/eventrouter/jobs
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
project_id |
是 |
String |
租户资源空间ID |
请求参数
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
X-Auth-Token |
是 |
String |
用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
cluster_id |
是 |
String |
专业版事件流集群ID |
name |
是 |
String |
作业名称。约束:作业名称由大小英文字母、数字、点、中划线和下划线组成,必须以大小英文字母或数字开头,最多128个字符。 |
description |
否 |
String |
作业描述,约束:作业描述不能超过256位。 |
scene_type |
是 |
String |
场景类型,DISASTER_BACKUP:同步任务 |
source_config |
否 |
EventRouterJobSource object |
专业版事件流作业源端配置 |
sink_config |
否 |
EventRouterJobSink object |
专业版事件流作业目标端配置 |
advance_config |
否 |
EventRouterAdvanceConfig object |
专业版事件流作业高级配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
source_kafka |
否 |
KafkaParameters object |
kafka配置 |
source_rocketmq |
否 |
RocketmqParameters object |
rocketmq配置 |
source_dcs |
否 |
DcsParameters object |
dcs配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
sink_kafka |
否 |
KafkaParameters object |
kafka配置 |
sink_rocketmq |
否 |
RocketmqParameters object |
rocketmq配置 |
sink_dcs |
否 |
DcsParameters object |
dcs配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
config_type |
是 |
String |
实例类型 CLOUD:云服务DMS kafka实例 |
region |
是 |
String |
区域ID |
project_id |
是 |
String |
资源空间ID |
instance_id |
否 |
String |
kafka实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
是 |
String |
kafka集群别名 |
address |
否 |
String |
kafka地址 |
authenticate_mode |
否 |
String |
kafka认证方式 |
sasl_mechanism |
否 |
String |
SASL认证机制 |
user_name |
否 |
String |
用户名,开启SASL_SSL时必填 |
password |
否 |
String |
用户密码,开启SASL_SSL时必填 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
config_type |
是 |
String |
实例类型。 CLOUD:云服务DMS Rocketmq实例 |
region |
是 |
String |
区域id |
project_id |
是 |
String |
资源空间ID |
instance_id |
否 |
String |
rocketmq实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
是 |
String |
rocketmq集群别名 |
address |
否 |
String |
rocketmq地址 |
ssl_open |
否 |
String |
rocketmq SSL开关 true: 开启 false: 关闭 |
acl_open |
否 |
Boolean |
rocketmq ACL开关 true: 开启 false: 关闭 |
user_name |
否 |
String |
用户名,开启ACL时必填 |
password |
否 |
String |
用户密码,开启ACL时必填 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
config_type |
是 |
String |
实例类型 CLOUD:云服务DCS实例 |
region |
是 |
String |
区域id |
project_id |
是 |
String |
资源空间ID |
instance_id |
否 |
String |
dcs实例ID,配置类型选择CLOUD时必填 |
address |
否 |
String |
dcs地址 |
password |
否 |
String |
用户密码 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
kafka2kafka |
否 |
Kafka2KafkaAdvanceConfig object |
kafka同步自定义配置 |
rocketmq2rocketmq |
否 |
rocketmq同步自定义配置 |
|
dcs2dcs |
否 |
Dcs2DcsAdvanceConfig object |
dcs同步自定义配置 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
topics |
否 |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
否 |
String |
要同步的topic正则表达式,与topics参数二选一 |
replica_cnt |
是 |
Integer |
副本数,不能大于broker数量 |
seek_to |
是 |
String |
数据同步点 |
compress_alg |
是 |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 snappy:snappy压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
is_sync_progress |
是 |
Boolean |
是否同步消费进度 true:同步 false:不同步 |
is_add_header |
是 |
Boolean |
是否添加来源Header |
rename_topic |
否 |
Boolean |
是否重命名Topic |
topic_mappings |
否 |
Array of KafkaTopicMapping objects |
topic映射 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
topics |
否 |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
否 |
String |
要同步的topic正则表达式,与topics参数二选一 |
is_sync_progress |
是 |
Boolean |
是否同步消费进度 |
seek_to |
是 |
String |
数据同步点 最早(first),最新(last),自定义时间戳(long类型) |
compress_alg |
是 |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
synchronize_type |
是 |
String |
同步类型 默认全量加增量 |
connect_retry_time |
是 |
String |
无法连接后重试时间,默认60秒 |
other_retry_time |
是 |
String |
出现其他问题后的重试时间,默认60秒 |
use_rate_limit |
否 |
Boolean |
是否限制增量同步速率,默认5MS/s true:限制 false:不限制 |
rate_limit |
否 |
String |
限制增量同步速率,默认5MB/s |
use_salve_node |
否 |
Boolean |
是否使用Slave节点 true:使用从节点同步数据 false:不使用从节点同步数据,即使用主节点 |
响应参数
状态码:200
参数 |
参数类型 |
描述 |
---|---|---|
X-Request-Id |
String |
请求ID |
参数 |
参数类型 |
描述 |
---|---|---|
cluster_id |
String |
专业版事件流集群ID |
job_id |
String |
专业版事件流作业ID |
name |
String |
作业名称。约束:作业名称由大小英文字母、数字、点、中划线和下划线组成,必须以大小英文字母或数字开头,最多128个字符。 |
description |
String |
作业描述,约束:作业描述不能超过256位。 |
scene_type |
String |
场景类型 |
source_type |
String |
源端类型 |
sink_type |
String |
目标端类型 |
subnet_id |
String |
子网ID |
vpc_id |
String |
虚拟私有云ID |
source_config |
EventRouterJobSource object |
专业版事件流作业源端配置 |
sink_config |
EventRouterJobSink object |
专业版事件流作业目标端配置 |
advance_config |
EventRouterAdvanceConfig object |
专业版事件流作业高级配置 |
status |
String |
作业状态 |
err_code |
String |
错误码 |
err_message |
String |
错误原因 |
created_time |
String |
创建UTC时间 |
updated_time |
String |
更新UTC时间 |
sink_status |
String |
目标端连通性状态 |
sink_status_info |
String |
目标端连通性状态信息 |
source_status |
String |
源端连通性状态 |
source_status_info |
String |
源端连通性状态信息 |
log_group_id |
String |
用户侧保存事件流作业日志的日志组ID |
log_stream_id |
String |
用户侧保存事件流作业日志的日志流ID |
参数 |
参数类型 |
描述 |
---|---|---|
source_kafka |
KafkaParameters object |
kafka配置 |
source_rocketmq |
RocketmqParameters object |
rocketmq配置 |
source_dcs |
DcsParameters object |
dcs配置 |
参数 |
参数类型 |
描述 |
---|---|---|
sink_kafka |
KafkaParameters object |
kafka配置 |
sink_rocketmq |
RocketmqParameters object |
rocketmq配置 |
sink_dcs |
DcsParameters object |
dcs配置 |
参数 |
参数类型 |
描述 |
---|---|---|
config_type |
String |
实例类型 CLOUD:云服务DMS kafka实例 |
region |
String |
区域ID |
project_id |
String |
资源空间ID |
instance_id |
String |
kafka实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
String |
kafka集群别名 |
address |
String |
kafka地址 |
authenticate_mode |
String |
kafka认证方式 |
sasl_mechanism |
String |
SASL认证机制 |
user_name |
String |
用户名,开启SASL_SSL时必填 |
password |
String |
用户密码,开启SASL_SSL时必填 |
参数 |
参数类型 |
描述 |
---|---|---|
config_type |
String |
实例类型。 CLOUD:云服务DMS Rocketmq实例 |
region |
String |
区域id |
project_id |
String |
资源空间ID |
instance_id |
String |
rocketmq实例ID,配置类型选择CLOUD时必填 |
cluster_alias |
String |
rocketmq集群别名 |
address |
String |
rocketmq地址 |
ssl_open |
String |
rocketmq SSL开关 true: 开启 false: 关闭 |
acl_open |
Boolean |
rocketmq ACL开关 true: 开启 false: 关闭 |
user_name |
String |
用户名,开启ACL时必填 |
password |
String |
用户密码,开启ACL时必填 |
参数 |
参数类型 |
描述 |
---|---|---|
config_type |
String |
实例类型 CLOUD:云服务DCS实例 |
region |
String |
区域id |
project_id |
String |
资源空间ID |
instance_id |
String |
dcs实例ID,配置类型选择CLOUD时必填 |
address |
String |
dcs地址 |
password |
String |
用户密码 |
参数 |
参数类型 |
描述 |
---|---|---|
kafka2kafka |
Kafka2KafkaAdvanceConfig object |
kafka同步自定义配置 |
rocketmq2rocketmq |
rocketmq同步自定义配置 |
|
dcs2dcs |
Dcs2DcsAdvanceConfig object |
dcs同步自定义配置 |
参数 |
参数类型 |
描述 |
---|---|---|
topics |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
String |
要同步的topic正则表达式,与topics参数二选一 |
replica_cnt |
Integer |
副本数,不能大于broker数量 |
seek_to |
String |
数据同步点 |
compress_alg |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 snappy:snappy压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
is_sync_progress |
Boolean |
是否同步消费进度 true:同步 false:不同步 |
is_add_header |
Boolean |
是否添加来源Header |
rename_topic |
Boolean |
是否重命名Topic |
topic_mappings |
Array of KafkaTopicMapping objects |
topic映射 |
参数 |
参数类型 |
描述 |
---|---|---|
topics |
String |
要同步的topic名称,精确匹配,用","间隔,与topic_regex参数二选一 |
topic_regex |
String |
要同步的topic正则表达式,与topics参数二选一 |
is_sync_progress |
Boolean |
是否同步消费进度 |
seek_to |
String |
数据同步点 最早(first),最新(last),自定义时间戳(long类型) |
compress_alg |
String |
压缩算法 none:不使用压缩算法 gzip:gzip压缩算法 lz4:lz4压缩算法 zstd:zstd压缩算法 |
参数 |
参数类型 |
描述 |
---|---|---|
synchronize_type |
String |
同步类型 默认全量加增量 |
connect_retry_time |
String |
无法连接后重试时间,默认60秒 |
other_retry_time |
String |
出现其他问题后的重试时间,默认60秒 |
use_rate_limit |
Boolean |
是否限制增量同步速率,默认5MS/s true:限制 false:不限制 |
rate_limit |
String |
限制增量同步速率,默认5MB/s |
use_salve_node |
Boolean |
是否使用Slave节点 true:使用从节点同步数据 false:不使用从节点同步数据,即使用主节点 |
请求示例
创建名为xxx的专业版事件流作业
POST https://{eg_endpoint}/v1/{project_id}/eventrouter/jobs { "cluster_id": "fac59513-6c18-4266-bc81-5d412dfc1925", "name": "eventRoute-qapbtr95", "scene_type": "DISASTER_BACKUP", "description": "", "source_config": [ { "source_kafka": [ { "config_type": "CLOUD", "region": "roma-dev-1", "project_id": "cb13a5c409fe40599271f44bbea5a2ad", "instance_id": "cdecf0b0-35b8-461b-a430-d7cd02d3d712", "cluster_alias": "aa", "address": "21.22.0.58:9092", "user_name": "", "password": null, "authenticate_mode": "PLAINTEXT", "sasl_mechanism": "" } ], } ], "sink_config": [ { "sink_kafka": [ { "config_type": "CLOUD", "region": "roma-dev-1", "project_id": "cb13a5c409fe40599271f44bbea5a2ad", "instance_id": "47896f0e-f90a-4528-b407-78ee00362cc9", "cluster_alias": "bb", "address": "21.22.0.175:9092", "user_name": null, "password": null, "authenticate_mode": "PLAINTEXT", "sasl_mechanism": "" } ], } ], "advance_config": [ { "kafka2kafka": [ { "topics": "t01", "topic_regex": "", "task_cnt": null, "topic_mappings": [], "rename_topic": false, "is_add_header": false, "is_sync_progress": false, "replica_cnt": 1, "seek_to": "earliest", "compress_alg": "none" } ] } ] }
响应示例
状态码:200
请求成功
{ "cluster_id" : "fac59513-6c18-4266-bc81-5d412dfc1925", "job_id" : "fac59513-6c18-4266-bc81-5d412dfc1925", "name" : "eventRoute-ifpcv5u4", "description" : "", "scene_type" : "DISASTER_BACKUP", "source_type" : "KAFKA", "source_config" : null, "sink_type" : "KAFKA", "sink_config" : null, "advance_config" : null, "status" : "CREATING", "err_code" : null, "err_message" : null, "created_time" : "2024-05-16T11:46:07Z", "updated_time" : "2024-05-16T11:46:07Z", "vpc_id" : "199f632d-34e7-4915-b4d8-1bc4e2824867", "subnet_id" : "0d1799e1-116e-4551-92dc-02dd8a860072" }
状态码
状态码 |
描述 |
---|---|
200 |
请求成功 |
错误码
请参见错误码。