更新时间:2024-04-15 GMT+08:00
分享

通用数据接入

运营中心提供通用数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。

前提条件

  • 需要具备AppStage指标开发者或运营管理员权限,权限申请操作请参见权限管理。
  • 已完成数据源管理

新建数据接入

  1. 在AppStage首页右上区域单击“运营中心”快捷入口,进入运营中心工作台。
  2. 在左侧导航栏选择“数据管理 > 通用数据接入”,进入通用数据接入页面。
  3. 单击“新建数据接入”,进入新建数据接入页面。
  4. 配置数据接入基础信息和任务信息,参数说明如表1表2所示。

    表1 基础信息

    参数

    说明

    数据名称

    必填。数据的名称或标识符。

    长度不小于3,且不大于20。

    数据源类型

    必填。数据源的类型。

    • OBS数据源
    • MySql数据源

    数据源

    必填。参数枚举值在“数据源”页面配置。

    OBS数据路径

    必填。数据在OBS桶中的路径。

    仅当“数据源类型”为“OBS数据源”时,该参数为必填参数。

    说明:

    选择的OBS数据路径中,如果同个文件夹里包含多个文件,请确保其文件格式一致。

    数据格式

    必填。数据的格式。仅当“数据源类型”为“OBS数据源”时,该参数为必填参数。

    • JSON_FILE:表示扩展名为.json的文件。
    • CSV_FILE:表示扩展名为.csv的文件。
      说明:
      • CSV文件支持UTF-8格式。
      • CSV文件必须包含pt_d字段。

    数据表

    数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。

    仅当“数据源类型”为“MySql数据源”时,该参数为必填参数。

    说明:

    数据表中必须包含pt_d和pt_t字段。

    表2 任务配置

    参数

    说明

    任务类型

    指定配置的任务类型。

    • 周期性任务
    • 一次性任务

    是否存在历史数据

    根据实际情况选择“是”或“否”。周期性任务数据不会导入以前的数据,如果需要查看以前的数据,该参数需配置为“是”。

    仅当“任务类型”为“周期性任务”时,该参数为必填参数。

    运行周期

    指定配置任务的运行周期。仅当“任务类型”为“周期性任务”时,该参数为必填参数。

    默认值:天

  5. 配置完成后,单击“下一步”
  6. 在数据表结构页面,选择“分区字段”。

    建议选择时间字段为分区字段。

  7. 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
  8. 校验数据表结构完成后,单击“保存并启用”

更多操作

新建数据接入成功后,您还可以在数据接入页面执行如下操作。

表3 更多操作

操作

说明

启用数据

进入“通用数据接入”页面,在指定数据名称操作列,单击“启用”,可以启用数据。

停用数据

进入“通用数据接入”页面,在指定数据名称操作列,单击“停用”,可以停用数据。

预览数据

进入“通用数据接入”页面,在指定数据名称操作列,单击“预览数据”,在“表数据”页签可以预览数据。

运行日志

进入“通用数据接入”页面,在指定数据名称操作列,单击“更多 > 运行日志”,在“运行日志”页签可以查看指标运行日志。

删除数据

进入“通用数据接入”页面,在指定数据名称操作列,单击“更多 > 删除”,可以删除数据。

分享:

    相关文档

    相关产品