配置Kafka数据转储至OBS

操作场景

本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中。

• 单机版实例不支持创建转储的Smart Connect任务。
• 源Kafka实例中的数据会实时同步到转储文件中。

使用限制

• 一个实例最多创建18个Smart Connect任务。
• Smart Connect任务创建成功后，不支持修改任务参数。

前提条件

• 已开启Smart Connect。
• 已创建Kafka实例，且实例状态为“运行中”。
• 已创建Topic。

配置Kafka数据转储至OBS

1. 登录管理控制台。
2. 在管理控制台左上角单击，选择区域。
   

   请选择Kafka实例所在的区域。

3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。
4. 单击Kafka实例名称，进入实例详情页面。
5. 在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。
6. 单击“创建Smart Connect任务”，进入“创建smart connect”页面。
7. 在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。
8. 在“预置类型”中，选择“转储”。
9. 在“立即执行”中，选择任务创建后是否立即执行任务，默认开启立即执行。如果关闭，在需要执行此任务时，您可以在Smart Connect任务列表中手动开启任务。
10. 在“源端配置”中，保持默认设置。
11. 在“Topic配置”中，设置以下参数。

    表1 Topic配置参数说明

    参数	参数说明
    正则表达式	表示以正则表达式的方式订阅Topic，并进行转储。
    输入/选择	输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。

12. 在“目标端配置”中，设置以下参数。

    表2 目标端参数说明

    参数	参数说明
    转储启动偏移量	支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。
    数据转储周期	两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件。
    AK	访问密钥ID。 获取AK的方法，具体请参见新增访问密钥。
    SK	与访问密钥ID结合使用的密钥。 获取SK的方法，具体请参见新增访问密钥。
    转储地址	存储Topic数据的OBS桶的名称。 您可以在下拉列表中选择已创建的OBS桶名称，也可以单击“创建转储地址”，新创建一个OBS桶。
    转储目录	OBS中存储Topic的目录，多级目录可以用“/”进行分隔。
    时间目录格式	数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。
    记录分隔符	在下拉列表中选择一种分隔符，分隔不同的转储记录。
    存储Key	是否转储Key，开启表示转储Key，关闭表示不转储Key。

    

    消息进行转储时，不支持以Key作为文件名。

13. 单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。