配置DIS源端参数

目前仅支持从DIS导出数据到云搜索服务。

消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

作业中源连接为配置DIS连接时，源端作业参数如所表1示。

表1 DIS作为源端时的作业参数
参数	说明	取值样例
DIS通道	DIS的通道名。	dis
偏移量参数	设置从DIS拉取数据时的初始偏移量：最新：最大偏移量，即拉取最新的数据。上次停止处：从上次停止处继续读取。最早：最小偏移量，即拉取最早的数据。	最新
是否持久运行	用户自定义是否永久运行。设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。	是
DIS分区ID	DIS分区ID，该参数支持输入多个分区ID，使用英文逗号（,）分隔。	0,1,2
数据格式	解析数据时使用的格式：二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON格式：以JSON格式解析源数据。	二进制格式
字段分隔符	数据格式为“CSV格式”时呈现此参数。默认为逗号，使用Tab键作为分隔符请输入“\t”。	,
记录分隔符	数据格式为“CSV格式”或“JSON格式”时呈现此参数。用于配置每条记录之间的分割符。	,
最大消息数/poll	可选参数，每次向DIS请求数据限制最大请求记录数。	100
APP名字	配置用户数据消费程序的唯一标识符，不存在时会自动创建。	cdm

父主题： 配置作业源端参数

相关文档