更新时间:2022-05-20 GMT+08:00
分享

数据源配置

用户可以在“数据源管理”页面创建数据源,为APP应用提供原始数据。

如果是预置的数据源,只能启动、停止和删除,不能修改。

  1. 单击“新增”,选择接入方式,显示“新增数据源”页面。

    接入方式包括:OBS、Kafka、SFTP、数据目录和Rest,下文以OBS为例说明。

    数据接入参数说明如表1所示。

    表1 数据接入参数说明

    参数名

    参数说明

    数据源名称

    编写数据源名称。输入仅支持由中文、字母、数字、空格,特殊字符:_()()#.-/

    单击“”可直接复制已有数据源。

    跳过采集

    表示读取配置信息的同时是否会采集数据。

    采集周期

    数据采集周期,当前支持:

    • 单次
    • 周期

      “采集周期”选择“周期”时,需要设置周期间隔。

    采集间隔

    “采集周期”选择“周期”时展示此参数,设置周期间隔,单位可选择“小时”、“分钟”和“秒”。

    桶名

    OBS桶名,下拉框中选择。

    也可单击“桶管理”,新增桶信息。

    • 桶名:OBS桶名。
    • AK:OBS的访问密钥ID,与私有访问密钥一起使用。
    • SK:私有访问密钥,与公有访问密钥一起使用。

    路径

    OBS桶路径。

    文件名规则

    命名规则,系统读取数据文件时,文件名满足该规则的文件才会被采集。

    • * : 匹配0或多个字符
    • ? : 匹配任意一个字符

    如:kpi*.csv(表示匹配以kpi开头,中间任意字符,并且以.csv结尾的文件)。

    数据开始行

    从第几行开始读数据。

    • 如果无标题行的数据,填“1”,表示从第1行开始读数据。
    • 如果有标题行的数据,填“2”,表示从第2行开始读数据,不读标题行数据。

    字段提取

    • 勾选“是”:表示采集方式为文本方式。
    • 勾选“否”:表示采集方式为二进制方式,如果为二进制方式则无字段提取配置。

    存储到记录集

    勾选后数据源采集数据会存储到elasticsearch。

    删除已读文件

    勾选后obs采集文件后会删除已采集的文件。

  2. 单击“更换场景”,根据应用场景选择预置原子能力,如果应用场景不明确,则选择“通用”。

    也可选择“CSV类型”,支持自动提取出CSV类型数据并新建一个数据类型和数据源类型。

  3. 单击“输出数据类型”对应的下拉框,选择希望输出的数据类型,如果下拉框中没有合适的数据类型,请单击相应的“新增”,即可新增自定义数据类型

    根据选择的输出数据类型,自动匹配出领域和相应的字段提取模板,单击“字段提取模板”对应的下拉框,选择通用的数据类型。

    单击“模板详情”可查看“索引名称、类型、提取方式”,单击“编辑”可修改“类型和提取方式”;鼠标移到索引字段“message”上,旁边显示,单击也可修改“类型、提取方式、分隔符或者序列数值”。修改提取字段后,单击“发布”即可生成新的数据源类型。

    单击“数据分割”对应的下拉框,选择数据分割的方式。

  4. 单击“下一步”。
  5. 数据源存储配置。

    “数据接入”勾选“是否存储到记录集”时,需要进行存储配置。主要进行采集到的数据存储的相关配置。

    存储配置页面参数说明如表2所示。

    表2 存储配置参数说明

    参数名

    参数说明

    记录集名称

    采集到的数据存储表名,随机生成,支持修改。

    保留时间

    数据保留时间,单位为“天”,默认保留3天。

  6. 单击“下一步”。进行配置项检测。
  7. 单击“确定”,完成数据源的配置。
分享:

    相关文档

    相关产品

close