配置Kafka数据转储至OBS
本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。
源Kafka实例中的数据会实时同步到转储文件中。
约束与限制
- 单机版实例不支持创建转储的Smart Connect任务。
- 一个实例最多创建18个Smart Connect任务。
- Smart Connect任务创建成功后,不支持修改任务参数。
前提条件
- 已开启Smart Connect。
- 已创建Kafka实例,且实例状态为“运行中”。
- 已创建的OBS桶和Kafka实例需要在同一个区域。
配置Kafka数据转储至OBS
- 登录管理控制台。
- 在管理控制台左上角单击,选择区域。
请选择Kafka实例所在的区域。
- 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
- 单击Kafka实例名称,进入实例详情页面。
- 在左侧导航栏单击“Smart Connect”,进入Smart Connect任务列表页面。
- 单击“创建Smart Connect任务”,进入“创建smart connect”页面。
- 在“connect任务名称”中,输入Smart Connect任务的名称,用于区分不同的Smart Connect任务。任务名称需要符合命名规则:长度为4~64个字符,只能由英文字母、数字、中划线、下划线组成。
- 在“预置类型”中,选择“转储”。
- 在“立即执行”中,选择任务创建后是否立即执行任务,默认开启立即执行。如果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。
- 在“源端配置”中,保持默认设置。
- 在“Topic配置”中,设置以下参数。
表1 Topic配置参数说明 参数
参数说明
正则表达式
表示以正则表达式的方式订阅Topic,并进行转储。
输入/选择
输入/选择待转储的Topic名称,支持选择多个Topic,以逗号“,”分隔。最多输入/选择20个Topic。
- 在“目标端配置”中,设置以下参数。
表2 目标端参数说明 参数
参数说明
转储启动偏移量
支持以下两种转储启动偏移量:
- 最早:最小偏移量,即读取最早的数据。
- 最新:最大偏移量,即获取最新的数据。
数据转储周期
两次转储的时间间隔,单位:秒,默认配置为300秒。
若某个时间段内无数据,则此时间段不会生成打包文件。
AK
访问密钥ID。
获取AK的方法,具体请参见新增访问密钥。
SK
与访问密钥ID结合使用的密钥。
获取SK的方法,具体请参见新增访问密钥。
转储地址
设置存储Topic数据的OBS桶的名称。
- 选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。
- 输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
转储目录
OBS中存储Topic的目录,多级目录可以用“/”进行分隔。
时间目录格式
数据将存储在转储目录下的时间目录中,时间目录是按时间格式作为层级的目录。例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。
记录分隔符
在下拉列表中选择一种分隔符,分隔不同的转储记录。
存储Key
是否转储Key,开启表示转储Key,关闭表示不转储Key。
消息进行转储时,不支持以Key作为文件名。
- 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。