配置MRS Kafka目的端参数

基本参数

Topic

输入Topic数据库名称。

default

数据格式

写入目的端时使用的数据格式。

CSV：将列按照字段分隔符拼接。

JSON: 将所有列按照指定字段名称拼接为JSON字符串。

JSON格式

字段分隔

数据格式为CSV显示该参数。

写入目的端时数据之间的字段分隔符。默认为空格。

,

keyIndex

数据格式为CSV显示该参数。

Kafka Writer中作为Key的那一列，填写后value不会记录此列。如字段列下标为0、1、2，keyIndex取值为0，则valueIndex为1、2。 keyIndex下标取值范围是从0开始的正整数，否则任务执行会报错。

-

额外配置

数据格式为JSON显示该参数。

该参数指定不同的类型的控制写入数据格式或者指定配置参数。

使用该能力前必须配置参数configType，当前支持的值为COMBINE_DATA。

configType为COMBINE_DATA支持的搭配的参数如下:

• batchNum：将多条数据合并成一条，默认值为1。
• featureTag：将每一条数据都打tag标签。
• startEndMark：默认是为false。设置为true时，写入消息前将会同步一个开始消息和结束的消息。
• columnAsKey：指定写入数据key值，也可以通过指定字段值作为key，通过配置@{column1}--@{column2}。

  例如：目的端字段为id、name，需要使用这两个字段值，则配置成@{id}--@{name}。

• schema：该参数会显示在写入的数据的消息体中，此处配置该参数时后续显示为设置的参数；如果没有配置，默认使用原表的schema值。
• table：该参数会显示在写入的数据的消息体中，此处配置该参数时后续显示为设置的参数；如果没有配置，默认使用源端的表名。
• acks：取值0，1、all。
• jobId：默认值为0，页面配置该参数，则在消息里生成该字段的信息。
• enableParseValueByColumnType：Kafka字段类型能够根据源端的类型进行转换，取值为true。

比如需要给数据打标签需配置两个参数，即configType：COMBINE_DATA，featureTag：group。