文档首页 > > 用户指南> 作业管理> 配置作业目的端参数> 配置Elasticsearch或云搜索服务目的端参数

配置Elasticsearch或云搜索服务目的端参数

分享
更新时间:2020/08/12 GMT+08:00

作业中目的连接为配置Elasticsearch/云搜索服务(CSS)连接,即将数据导入到云搜索服务或Elasticsearch时,目的端作业参数如表1所示。

表1 Elasticsearch作为目的端时的作业参数

参数名

说明

取值样例

索引

待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。

index

类型

待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。

type

管道ID

需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。

pipeline_id

定时创索引

对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引:
  • 每小时:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”
  • 每天:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”
  • 每周:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”
  • 每月:每月一号零点零分创建新索引,新索引的命名格式为“索引名+年+月”,例如“index201812”
  • 不创建:选择此项表示不创建定时索引。

从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。

每小时

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问