# 配置Kafka/DMS Kafka源端参数 作业中源连接为[Kafka连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0033.html#dataartsstudio_01_0033)或[DMS Kafka连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0038.html#dataartsstudio_01_0038)时，源端作业参数如[表1]所示。 表1Kafka作为源端时的作业参数 | 参数类型 | 参数 | 说明 | 取值样例 | |:---|:---|:---|:---| | 基本参数 | Topics | 支持单个或多个topic。 | est1,est2 | | 基本参数 | 数据格式 | 解析数据时使用的格式： - 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 - CSV格式：以CSV格式解析源数据。 - JSON：以JSON格式解析源数据。 - CDC（DRS）：以DRS格式解析源数据。 - CDC（JSON）：以JSON格式解析源数据。 - CDC（DRS_AVRO）：以DRS_AVRO格式解析源数据。 - CDC（DRS_JSON）：以DRS_JSON格式解析源数据。 | 二进制格式 | | 基本参数 | 偏移量参数 | 从Kafka拉取数据时的初始偏移量： - 最新：最大偏移量，即拉取最新的数据。 - 最早：最小偏移量，即拉取最早的数据。 - 已提交：拉取已提交的数据。 - 时间范围：拉取时间范围内的数据。 | 最新 | | 基本参数 | 抽取数据最大运行时间 | 持续拉取数据时间。如天调度作业，根据每天topic产生的数据量，配置足够的拉取时间。单位：分钟。 | 60 | | 基本参数 | 等待时间 | 当配置为60时，如果消费者60s内从Kafka拉取数据返回一直为空（一般是已经读完主题中的全部数据，也可能是网络或者Kafka集群可用性原因），则立即停止任务，否则持续重试读取数据。单位：秒。 | 60 | | 基本参数 | 消费组ID | 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 | consumer-group | | 基本参数 | 开始时间(\>=) | "偏移量参数"选择为"时间范围"时配置。拉取数据的开始时间，包含设置时间点的数据。 | 2020-12-20 12:00:00 | | 基本参数 | 结束时间(\<) | "偏移量参数"选择为"时间范围"时配置。拉取数据的结束时间，不包含设置时间点的数据。 | 2020-12-20 20:00:00 | | 基本参数 | 字段分隔符 | "数据格式"选择为"CSV格式"时配置。默认为空格，使用Tab键作为分隔符请输入"\\t"。 | , | | 基本参数 | 记录分隔符 | "数据格式"选择为"CSV格式"、"JSON"时配置。默认为空格，使用Tab键作为分隔符请输入"\\t"。 | , | | 高级参数 | 使用配置文件 | "数据格式"选择为"CDC场景"时配置，用于配置OBS文件。 | 否 | | 高级参数 | OBS链接 | 选择OBS连接器信息。 | obs_link | | 高级参数 | OBS桶 | 选择OBS桶。 | obs_test | | 高级参数 | 配置文件 | 选择OBS的配置文件。 | /obs/config.csv | | 高级参数 | 最大消息数/poll | 可选参数，每次向Kafka请求数据限制最大请求记录数。 | 100 | | 高级参数 | 最大时间间隔/poll | 可选参数，向Kafka请求数据的最大时间间隔。 | 100 | | 高级参数 | 通知Topic | 发送通知数据到通知Topic中。在CDC场景中，通知的内容是记录生成文件列表的文件名。 | notice |