更新时间:2022-05-20 GMT+08:00
分享

数据接入

操作步骤

用户可以在“数据源管理”页面创建数据源,为APP应用提供原始数据。操作步骤如下。

  1. 单击“新增”,选择接入方式,显示“新增数据源”页面。

    接入方式包括:OBS、Kafka、SFTP、数据目录和Rest,下文以OBS为例说明。

    配置数据接入参数,具体参见表1
    表1 数据接入配置说明

    参数名称

    参数说明

    数据源名称

    编写数据源名称。输入仅支持由中文、字母、数字、空格,特殊字符:_()()#.-/

    单击“”可直接复制已有数据源。

    跳过采集

    表示读取配置信息的同时是否会采集数据。

    采集周期

    数据采集周期,当前支持:

    • 单次
    • 周期

      “采集周期”选择“周期”时,需要设置周期间隔。

    采集间隔

    “采集周期”选择“周期”时展示此参数,设置周期间隔,单位可选择“小时”、“分钟”和“秒”。

    桶名

    OBS桶名,下拉框中选择。

    也可单击“桶管理”,新增桶信息。

    • 桶名:OBS桶名。
    • AK:OBS的访问密钥ID,与私有访问密钥一起使用。
    • SK:私有访问密钥,与公有访问密钥一起使用。

    路径

    OBS桶路径。

    文件名规则

    命名规则,系统读取数据文件时,文件名满足该规则的文件才会被采集。

    • * : 匹配0或多个字符
    • ? : 匹配任意一个字符

    如:kpi*.csv(表示匹配以kpi开头,中间任意字符,并且以.csv结尾的文件)。

    数据开始行

    从第几行开始读数据。

    • 如果无标题行的数据,填“1”,表示从第1行开始读数据。
    • 如果有标题行的数据,填“1”,表示从第2行开始读数据,不读标题行数据。

    字段提取

    • 勾选“是”:表示采集方式为文本方式。
    • 勾选“否”:表示采集方式为二进制方式,如果为二进制方式则无字段提取配置。

    存储到记录集

    勾选后数据源采集数据会存储到elasticsearch。

    删除已读取文件

    勾选后obs采集文件后会删除已采集的文件。

    OBS对象存储服务配置介绍请参考华为云对象存储服务快速入门。

    1. 访问“https://support.huaweicloud.com/index.html”。
    2. 选择合适的语言。
    3. 单击“登录”。
    4. 登录后,单击“存储”区域中“对象存储服务 OBS”,进入产品文档首页。
    5. 选择左侧目录的“快速入门”。

  2. 单击“下一步”。
分享:

    相关文档

    相关产品

close