数据接入
操作步骤
用户可以在“数据源管理”页面创建数据源,为APP应用提供原始数据。操作步骤如下。
- 单击“新增”,选择接入方式,显示“新增数据源”页面。
接入方式包括:OBS、Kafka、SFTP、数据目录和Rest,下文以OBS为例说明。
配置数据接入参数,具体参见表1。表1 数据接入配置说明 参数名称
参数说明
数据源名称
编写数据源名称。输入仅支持由中文、字母、数字、空格,特殊字符:_()()#.-/
单击“
”可直接复制已有数据源。
跳过采集
表示读取配置信息的同时是否会采集数据。
- 是
- 否
采集周期
数据采集周期,当前支持:
采集间隔
“采集周期”选择“周期”时展示此参数,设置周期间隔,单位可选择“小时”、“分钟”和“秒”。
桶名
OBS桶名,下拉框中选择。
也可单击“桶管理”,新增桶信息。
- 桶名:OBS桶名。
- AK:OBS的访问密钥ID,与私有访问密钥一起使用。
- SK:私有访问密钥,与公有访问密钥一起使用。
路径
OBS桶路径。
文件名规则
命名规则,系统读取数据文件时,文件名满足该规则的文件才会被采集。
- * : 匹配0或多个字符
- ? : 匹配任意一个字符
如:kpi*.csv(表示匹配以kpi开头,中间任意字符,并且以.csv结尾的文件)。
数据开始行
从第几行开始读数据。
- 如果无标题行的数据,填“1”,表示从第1行开始读数据。
- 如果有标题行的数据,填“1”,表示从第2行开始读数据,不读标题行数据。
字段提取
- 勾选“是”:表示采集方式为文本方式。
- 勾选“否”:表示采集方式为二进制方式,如果为二进制方式则无字段提取配置。
存储到记录集
勾选后数据源采集数据会存储到elasticsearch。
删除已读取文件
勾选后obs采集文件后会删除已采集的文件。
OBS对象存储服务配置介绍请参考华为云对象存储服务快速入门。
- 访问“https://support.huaweicloud.com/index.html”。
- 选择合适的语言。
- 单击“登录”。
- 登录后,单击“存储”区域中“对象存储服务 OBS”,进入产品文档首页。
- 选择左侧目录的“快速入门”。
- 单击“下一步”。
