更新时间：2024-10-10 GMT+08:00
配置Kafka数据转储至OBS
本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。
源Kafka实例中的数据会实时同步到转储文件中。
约束与限制
- 单机实例不支持创建转储的Smart Connect任务。
- 一个实例最多创建18个Smart Connect任务。
- Smart Connect任务创建成功后，不支持修改任务参数。
前提条件
- 已开启Smart Connect。
- 已创建Kafka实例，且实例状态为“运行中”。
- 已创建的OBS桶和Kafka实例需要在同一个区域。
配置Kafka数据转储至OBS
- 登录管理控制台。
- 在管理控制台左上角单击
，选择区域。
请选择Kafka实例所在的区域。
- 在管理控制台左上角单击
，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 - 单击Kafka实例名称，进入实例详情页面。
- 在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。
- 单击“创建Smart Connect任务”，进入“创建smart connect”页面。
- 在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。
- 在“预置类型”中，选择“转储”。
- 在“立即执行”中，选择任务创建后是否立即执行任务，默认开启立即执行。如果关闭，在需要执行此任务时，您可以在Smart Connect任务列表中手动开启任务。
- 在“源端配置”中，保持默认设置。
- 在“Topic配置”中，设置以下参数。
表1 Topic配置参数说明 参数
参数说明
正则表达式
表示以正则表达式的方式订阅Topic，并进行转储。
输入/选择
输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。
- 在“目标端配置”中，设置以下参数。
表2 目标端参数说明 参数
参数说明
转储启动偏移量
支持以下两种转储启动偏移量：
- 最早：最小偏移量，即读取最早的数据。
- 最新：最大偏移量，即获取最新的数据。
数据转储周期
两次转储的时间间隔，单位：秒，默认配置为300秒。
若某个时间段内无数据，则此时间段不会生成打包文件。
AK
访问密钥ID。
获取AK的方法，具体请参见新增访问密钥。
SK
与访问密钥ID结合使用的密钥。
获取SK的方法，具体请参见新增访问密钥。
转储地址
设置存储Topic数据的OBS桶的名称。
- 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。
- 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
转储目录
OBS中存储Topic的目录，多级目录可以用“/”进行分隔。
时间目录格式
数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。
记录分隔符
在下拉列表中选择一种分隔符，分隔不同的转储记录。
存储Key
是否转储Key，开启表示转储Key，关闭表示不转储Key。
消息进行转储时，不支持以Key作为文件名。
- 单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。
父主题： 使用Smart Connect迁移数据
