文档首页 > > 用户指南> 作业管理> 配置作业源端参数> 配置Apache Kafka/DMS Kafka源端参数

配置Apache Kafka/DMS Kafka源端参数

分享
更新时间:2020/05/27 GMT+08:00

目前仅支持从Kafka导出数据到云搜索服务、DMS Kafka、DIS。

作业中源连接为配置Kafka连接配置DMS Kafka连接时,源端作业参数如表1所示。

表1 Kafka作为源端时的作业参数

参数

说明

取值样例

Topics

支持单个或多个topic。

est1,est2

偏移量参数

从Kafka拉取数据时的初始偏移量:

  • 最新:最大偏移量,即拉取最新的数据。
  • 最早:最小偏移量,即拉取最早的数据。

最新

是否持久运行

用户自定义是否永久运行。

消费组ID

用户指定消费组ID。

如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。

sumer-group

数据格式

解析数据时使用的格式:

  • 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。
  • CSV格式:以CSV格式解析源数据。

二进制格式

字段分隔符

默认为空格,使用Tab键作为分隔符请输入“\t”

,

最大消息数/poll

可选参数,每次向Kafka请求数据限制最大请求记录数。

100

最大时间间隔/poll

可选参数,向Kafka请求数据的最大时间间隔。

100

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问