配置Kafka/DMS Kafka源端参数
作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。
| 参数类型 | 参数 | 说明 | 取值样例 |
|---|---|---|---|
| 基本参数 | Topics | 支持单个或多个topic。 | est1,est2 |
| 数据格式 | 解析数据时使用的格式：
| 二进制格式 | |
| 偏移量参数 | 从Kafka拉取数据时的初始偏移量：
| 最新 | |
| 抽取数据最大运行时间 | 持续拉取数据时间。如天调度作业，根据每天topic产生的数据量，配置足够的拉取时间。单位：分钟。 | 60 | |
| 等待时间 | 当配置为60时，如果消费者60s内从Kafka拉取数据返回一直为空（一般是已经读完主题中的全部数据，也可能是网络或者Kafka集群可用性原因），则立即停止任务，否则持续重试读取数据。单位：秒。 | 60 | |
| 消费组ID | 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 | consumer-group | |
| 开始时间(>=) | “偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间，包含设置时间点的数据。 | 2020-12-20 12:00:00 | |
| 结束时间(<) | “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间，不包含设置时间点的数据。 | 2020-12-20 20:00:00 | |
| 字段分隔符 | “数据格式”选择为“CSV格式”时配置。默认为空格，使用Tab键作为分隔符请输入“\t”。 | , | |
| 记录分隔符 | “数据格式”选择为“CSV格式”、“JSON”时配置。默认为空格，使用Tab键作为分隔符请输入“\t”。 | , | |
| 高级参数 | 使用配置文件 | “数据格式”选择为“CDC场景”时配置，用于配置OBS文件。 | 否 |
| OBS链接 | 选择OBS连接器信息。 | obs_link | |
| OBS桶 | 选择OBS桶。 | obs_test | |
| 配置文件 | 选择OBS的配置文件。 | /obs/config.csv | |
| 最大消息数/poll | 可选参数，每次向Kafka请求数据限制最大请求记录数。 | 100 | |
| 最大时间间隔/poll | 可选参数，向Kafka请求数据的最大时间间隔。 | 100 | |
| 通知Topic | 发送通知数据到通知Topic中。在CDC场景中，通知的内容是记录生成文件列表的文件名。 | notice |
