文档首页/ 分布式消息服务Kafka版/ API参考/ API V2（推荐）/ Smart Connect/ 修改Smart Connect任务配置
更新时间：2025-06-19 GMT+08:00
在线调试
CLI示例
查看PDF
分享

修改Smart Connect任务配置

功能介绍

修改Smart Connect任务配置。

调用方法

请参见如何调用API。

URI

PUT /v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}

表1 路径参数

参数

是否必选

参数类型

描述

project_id

是

String

参数解释：

项目ID，获取方式请参见获取项目ID。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

instance_id

是

String

参数解释：

实例ID。获取方法如下：登录Kafka控制台，在Kafka实例详情页面查找实例ID。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

task_id

是

String

参数解释：

任务ID。获取方法如下：登录Kafka控制台，在Smart Connect页面查找任务ID。

约束限制：

不涉及。

取值范围：

不涉及。

默认取值：

不涉及。

请求参数

表2 请求Body参数

参数

是否必选

参数类型

描述

task_name

否

String

参数解释：

Smart Connect任务名称。

取值范围：

不涉及。

topics

否

String

参数解释：

Smart Connect任务配置的Topic。

取值范围：

不涉及。

topics_regex

否

String

参数解释：

Smart Connect任务配置的Topic正则表达式。

取值范围：

不涉及。

source_type

否

String

参数解释：

Smart Connect任务的源端类型。

取值范围：

  • NONE：不配置。

  • KAFKA_REPLICATOR_SOURCE：Kafka数据复制。

source_task

否

SmartConnectTaskRespSourceConfig object

参数解释：

Smart Connect任务的源端配置。

sink_type

否

String

参数解释：

Smart Connect任务的目标端类型。

取值范围：

  • NONE：不配置。

  • OBS_SINK：转储。

sink_task

否

SmartConnectTaskRespSinkConfig object

参数解释：

Smart Connect任务的目标端配置。

id

否

String

参数解释：

Smart Connect任务的id。

取值范围：

不涉及。

status

否

String

参数解释：

Smart Connect任务的状态。

取值范围：

不涉及。

create_time

否

Long

参数解释：

Smart Connect任务的创建时间。

取值范围：

不涉及。
表3 SmartConnectTaskRespSourceConfig

参数

是否必选

参数类型

描述

current_cluster_name

否

String

参数解释：

当前Kafka实例别名。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

cluster_name

否

String

参数解释：

对端Kafka实例别名。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

user_name

否

String

参数解释：

对端Kafka用户名。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

sasl_mechanism

否

String

参数解释：

对端Kafka认证机制。（仅源端类型为Kafka时会显示）

取值范围：

  • PLAIN

  • SCRAM-SHA-512

instance_id

否

String

参数解释：

对端Kafka实例ID。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

bootstrap_servers

否

String

参数解释：

对端Kafka实例地址。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

security_protocol

否

String

参数解释：

对端Kafka认证方式。（仅源端类型为Kafka时会显示）

取值范围：

  • PLAINTEXT：不开启SSL，明文传输。

  • SASL_SSL：采用SASL方式进行认证，数据通过SSL证书进行加密传输，安全性更高。

  • SASL_PLAINTEXT：采用SASL方式进行认证，数据通过明文传输，性能更好。

direction

否

String

参数解释：

同步方向。（仅源端类型为Kafka时会显示）

取值范围：

  • pull：拉取。

  • push：推送。

  • two-way：双向。

sync_consumer_offsets_enabled

否

Boolean

参数解释：

是否同步消费进度。（仅源端类型为Kafka时会显示）

取值范围：

  • true：同步消费进度

  • false：不同步消费进度

replication_factor

否

Integer

参数解释：

副本数。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

task_num

否

Integer

参数解释：

任务数。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

rename_topic_enabled

否

Boolean

参数解释：

是否重命名Topic。（仅源端类型为Kafka时会显示）

取值范围：

  • true：重命名Topic。

  • false：不进行重命名Topic。

provenance_header_enabled

否

Boolean

参数解释：

是否添加来源header。（仅源端类型为Kafka时会显示）

取值范围：

  • true：添加来源header。

  • false：不添加来源header。

consumer_strategy

否

String

参数解释：

启动偏移量。（仅源端类型为Kafka时会显示）

取值范围：

  • latest：获取最新的数据。

  • earliest：获取最早的数据。

compression_type

否

String

参数解释：

压缩算法。（仅源端类型为Kafka时会显示）

取值范围：

  • none

  • gzip

  • snappy

  • lz4

  • zstd

topics_mapping

否

String

参数解释：

Topic映射。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。
表4 SmartConnectTaskRespSinkConfig

参数

是否必选

参数类型

描述

consumer_strategy

否

String

参数解释：

转储启动偏移量。（仅目标端类型为OBS时会显示）

取值范围：

  • latest：获取最新的数据。

  • earliest：获取最早的数据。

destination_file_type

否

String

参数解释：

转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

deliver_time_interval

否

Integer

参数解释：

数据转储周期（秒）。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

obs_bucket_name

否

String

参数解释：

转储地址。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

obs_path

否

String

参数解释：

转储目录。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

partition_format

否

String

参数解释：

时间目录格式。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

record_delimiter

否

String

参数解释：

记录分行符。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

store_keys

否

Boolean

参数解释：

存储Key。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

obs_part_size

否

Integer

参数解释：

每个传输文件多大后就开始上传，单位为byte；默认值5242880。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

flush_size

否

Integer

参数解释：

刷写数量。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

timezone

否

String

参数解释：

时区。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

schema_generator_class

否

String

参数解释：

schema_generator类，默认为"io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

partitioner_class

否

String

参数解释：

partitioner类，默认"io.confluent.connect.storage.partitioner.TimeBasedPartitioner"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

value_converter

否

String

参数解释：

值转换器，默认为"org.apache.kafka.connect.converters.ByteArrayConverter"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

key_converter

否

String

参数解释：

键转换器，默认为"org.apache.kafka.connect.converters.ByteArrayConverter"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

kv_delimiter

否

String

参数解释：

键值分隔符，默认为":"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

响应参数

状态码：200

表5 响应Body参数

参数

参数类型

描述

task_name

String

参数解释：

Smart Connect任务名称。

取值范围：

不涉及。

topics

String

参数解释：

Smart Connect任务配置的Topic。

取值范围：

不涉及。

topics_regex

String

参数解释：

Smart Connect任务配置的Topic正则表达式。

取值范围：

不涉及。

source_type

String

参数解释：

Smart Connect任务的源端类型。

取值范围：

  • NONE：不配置。

  • KAFKA_REPLICATOR_SOURCE：Kafka数据复制。

source_task

SmartConnectTaskRespSourceConfig object

参数解释：

Smart Connect任务的源端配置。

sink_type

String

参数解释：

Smart Connect任务的目标端类型。

取值范围：

  • NONE：不配置。

  • OBS_SINK：转储。

sink_task

SmartConnectTaskRespSinkConfig object

参数解释：

Smart Connect任务的目标端配置。

id

String

参数解释：

Smart Connect任务的id。

取值范围：

不涉及。

status

String

参数解释：

Smart Connect任务的状态。

取值范围：

不涉及。

create_time

Long

参数解释：

Smart Connect任务的创建时间。

取值范围：

不涉及。
表6 SmartConnectTaskRespSourceConfig

参数

参数类型

描述

current_cluster_name

String

参数解释：

当前Kafka实例别名。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

cluster_name

String

参数解释：

对端Kafka实例别名。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

user_name

String

参数解释：

对端Kafka用户名。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

sasl_mechanism

String

参数解释：

对端Kafka认证机制。（仅源端类型为Kafka时会显示）

取值范围：

  • PLAIN

  • SCRAM-SHA-512

instance_id

String

参数解释：

对端Kafka实例ID。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

bootstrap_servers

String

参数解释：

对端Kafka实例地址。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

security_protocol

String

参数解释：

对端Kafka认证方式。（仅源端类型为Kafka时会显示）

取值范围：

  • PLAINTEXT：不开启SSL，明文传输。

  • SASL_SSL：采用SASL方式进行认证，数据通过SSL证书进行加密传输，安全性更高。

  • SASL_PLAINTEXT：采用SASL方式进行认证，数据通过明文传输，性能更好。

direction

String

参数解释：

同步方向。（仅源端类型为Kafka时会显示）

取值范围：

  • pull：拉取。

  • push：推送。

  • two-way：双向。

sync_consumer_offsets_enabled

Boolean

参数解释：

是否同步消费进度。（仅源端类型为Kafka时会显示）

取值范围：

  • true：同步消费进度

  • false：不同步消费进度

replication_factor

Integer

参数解释：

副本数。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

task_num

Integer

参数解释：

任务数。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。

rename_topic_enabled

Boolean

参数解释：

是否重命名Topic。（仅源端类型为Kafka时会显示）

取值范围：

  • true：重命名Topic。

  • false：不进行重命名Topic。

provenance_header_enabled

Boolean

参数解释：

是否添加来源header。（仅源端类型为Kafka时会显示）

取值范围：

  • true：添加来源header。

  • false：不添加来源header。

consumer_strategy

String

参数解释：

启动偏移量。（仅源端类型为Kafka时会显示）

取值范围：

  • latest：获取最新的数据。

  • earliest：获取最早的数据。

compression_type

String

参数解释：

压缩算法。（仅源端类型为Kafka时会显示）

取值范围：

  • none

  • gzip

  • snappy

  • lz4

  • zstd

topics_mapping

String

参数解释：

Topic映射。（仅源端类型为Kafka时会显示）

取值范围：

不涉及。
表7 SmartConnectTaskRespSinkConfig

参数

参数类型

描述

consumer_strategy

String

参数解释：

转储启动偏移量。（仅目标端类型为OBS时会显示）

取值范围：

  • latest：获取最新的数据。

  • earliest：获取最早的数据。

destination_file_type

String

参数解释：

转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

deliver_time_interval

Integer

参数解释：

数据转储周期（秒）。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

obs_bucket_name

String

参数解释：

转储地址。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

obs_path

String

参数解释：

转储目录。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

partition_format

String

参数解释：

时间目录格式。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

record_delimiter

String

参数解释：

记录分行符。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

store_keys

Boolean

参数解释：

存储Key。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

obs_part_size

Integer

参数解释：

每个传输文件多大后就开始上传，单位为byte；默认值5242880。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

flush_size

Integer

参数解释：

刷写数量。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

timezone

String

参数解释：

时区。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

schema_generator_class

String

参数解释：

schema_generator类，默认为"io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

partitioner_class

String

参数解释：

partitioner类，默认"io.confluent.connect.storage.partitioner.TimeBasedPartitioner"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

value_converter

String

参数解释：

值转换器，默认为"org.apache.kafka.connect.converters.ByteArrayConverter"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

key_converter

String

参数解释：

键转换器，默认为"org.apache.kafka.connect.converters.ByteArrayConverter"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

kv_delimiter

String

参数解释：

键值分隔符，默认为":"。（仅目标端类型为OBS时会显示）

取值范围：

不涉及。

请求示例

PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}

响应示例

状态码：200

修改Smart Connect任务成功。

{
  "task_name" : "smart-connect-121248117",
  "topics" : "topic-1643449744",
  "source_task" : {
    "current_cluster_name" : "A",
    "cluster_name" : "B",
    "direction" : "pull",
    "bootstrap_servers" : "192.168.45.58:9092,192.168.44.1:9092,192.168.41.230:9092,192.168.43.112:9092",
    "instance_id" : "59f6d088-****-****-****-********",
    "consumer_strategy" : "earliest",
    "sync_consumer_offsets_enabled" : false,
    "rename_topic_enabled" : false,
    "provenance_header_enabled" : false,
    "security_protocol" : "PLAINTEXT",
    "sasl_mechanism" : "PLAIN",
    "user_name" : "",
    "topics_mapping" : "",
    "compression_type" : "none",
    "task_num" : 2,
    "replication_factor" : 3
  },
  "source_type" : "KAFKA_REPLICATOR_SOURCE",
  "sink_task" : null,
  "sink_type" : "NONE",
  "id" : "194917d0-****-****-****-********",
  "status" : "RUNNING",
  "create_time" : 1708427753133
}

SDK代码示例

SDK代码示例如下。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
 
package com.huaweicloud.sdk.test;

import com.huaweicloud.sdk.core.auth.ICredential;
import com.huaweicloud.sdk.core.auth.BasicCredentials;
import com.huaweicloud.sdk.core.exception.ConnectionException;
import com.huaweicloud.sdk.core.exception.RequestTimeoutException;
import com.huaweicloud.sdk.core.exception.ServiceResponseException;
import com.huaweicloud.sdk.kafka.v2.region.KafkaRegion;
import com.huaweicloud.sdk.kafka.v2.*;
import com.huaweicloud.sdk.kafka.v2.model.*;


public class ModifyConnectorTaskSolution {

    public static void main(String[] args) {
        // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security.
        // In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment
        String ak = System.getenv("CLOUD_SDK_AK");
        String sk = System.getenv("CLOUD_SDK_SK");
        String projectId = "{project_id}";

        ICredential auth = new BasicCredentials()
                .withProjectId(projectId)
                .withAk(ak)
                .withSk(sk);

        KafkaClient client = KafkaClient.newBuilder()
                .withCredential(auth)
                .withRegion(KafkaRegion.valueOf("<YOUR REGION>"))
                .build();
        ModifyConnectorTaskRequest request = new ModifyConnectorTaskRequest();
        request.withInstanceId("{instance_id}");
        request.withTaskId("{task_id}");
        SmartConnectTaskEntity body = new SmartConnectTaskEntity();
        request.withBody(body);
        try {
            ModifyConnectorTaskResponse response = client.modifyConnectorTask(request);
            System.out.println(response.toString());
        } catch (ConnectionException e) {
            e.printStackTrace();
        } catch (RequestTimeoutException e) {
            e.printStackTrace();
        } catch (ServiceResponseException e) {
            e.printStackTrace();
            System.out.println(e.getHttpStatusCode());
            System.out.println(e.getRequestId());
            System.out.println(e.getErrorCode());
            System.out.println(e.getErrorMsg());
        }
    }
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
# coding: utf-8

import os
from huaweicloudsdkcore.auth.credentials import BasicCredentials
from huaweicloudsdkkafka.v2.region.kafka_region import KafkaRegion
from huaweicloudsdkcore.exceptions import exceptions
from huaweicloudsdkkafka.v2 import *

if __name__ == "__main__":
    # The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security.
    # In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment
    ak = os.environ["CLOUD_SDK_AK"]
    sk = os.environ["CLOUD_SDK_SK"]
    projectId = "{project_id}"

    credentials = BasicCredentials(ak, sk, projectId)

    client = KafkaClient.new_builder() \
        .with_credentials(credentials) \
        .with_region(KafkaRegion.value_of("<YOUR REGION>")) \
        .build()

    try:
        request = ModifyConnectorTaskRequest()
        request.instance_id = "{instance_id}"
        request.task_id = "{task_id}"
        request.body = SmartConnectTaskEntity(
        )
        response = client.modify_connector_task(request)
        print(response)
    except exceptions.ClientRequestException as e:
        print(e.status_code)
        print(e.request_id)
        print(e.error_code)
        print(e.error_msg)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 
package main

import (
	"fmt"
	"github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic"
    kafka "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/kafka/v2"
	"github.com/huaweicloud/huaweicloud-sdk-go-v3/services/kafka/v2/model"
    region "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/kafka/v2/region"
)

func main() {
    // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security.
    // In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment
    ak := os.Getenv("CLOUD_SDK_AK")
    sk := os.Getenv("CLOUD_SDK_SK")
    projectId := "{project_id}"

    auth := basic.NewCredentialsBuilder().
        WithAk(ak).
        WithSk(sk).
        WithProjectId(projectId).
        Build()

    client := kafka.NewKafkaClient(
        kafka.KafkaClientBuilder().
            WithRegion(region.ValueOf("<YOUR REGION>")).
            WithCredential(auth).
            Build())

    request := &model.ModifyConnectorTaskRequest{}
	request.InstanceId = "{instance_id}"
	request.TaskId = "{task_id}"
	request.Body = &model.SmartConnectTaskEntity{
	}
	response, err := client.ModifyConnectorTask(request)
	if err == nil {
        fmt.Printf("%+v\n", response)
    } else {
        fmt.Println(err)
    }
}

更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。

状态码

状态码

描述

200

修改Smart Connect任务成功。

错误码

请参见错误码。

父主题： Smart Connect

我们使用cookie来确保您的高速浏览体验。继续浏览本站，即表示您同意我们使用cookie。 详情