文档首页 > > 用户指南> 作业管理> 配置作业源端参数> 配置DIS源端参数

配置DIS源端参数

分享
更新时间:2020/05/27 GMT+08:00

目前仅支持从DIS导出数据到云搜索服务、Apache Kafka、DMS Kafka。

消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

作业中源连接为配置DIS连接时,源端作业参数如所表1示。

表1 DIS作为源端时的作业参数

参数

说明

取值样例

DIS通道

DIS的通道名。

dis

偏移量参数

设置从DIS拉取数据时的初始偏移量:
  • 最新:最大偏移量,即拉取最新的数据。
  • 上次停止处:从上次停止处继续读取。
  • 最早:最小偏移量,即拉取最早的数据。

最新

是否持久运行

用户自定义是否永久运行。设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。

DIS分区ID

DIS分区ID,该参数支持输入多个分区ID,使用英文逗号(,)分隔。

0,1,2

数据格式

解析数据时使用的格式:

  • 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。
  • CSV格式:以CSV格式解析源数据。

二进制格式

字段分隔符

默认为空格,使用Tab键作为分隔符请输入“\t”

,

最大消息数/poll

可选参数,每次向DIS请求数据限制最大请求记录数。

100

APP名字

配置用户数据消费程序的唯一标识符,不存在时会自动创建。

cdm

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问