文档首页/ 应用平台 AppStage/ 运营中心用户指南/ 接入运营数据/ 新建数据接入将源端数据迁移到运营中心
更新时间:2024-11-18 GMT+08:00
分享

新建数据接入将源端数据迁移到运营中心

运营中心提供OBS数据接入、MySql数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。

前提条件

OBS接入

  1. 登录AppStage控制台。
  2. 在快捷入口选择“运营中心”,进入运营中心。
  3. 在左侧导航栏选择“数据管理 > 通用数据接入”,进入通用数据接入页面。
  4. 单击“新建数据接入 > OBS接入”,进入新建数据接入页面。
  5. 配置数据接入基础信息和任务信息,参数说明如表1表2所示。

    表1 基础信息

    参数

    说明

    数据接入名称

    必填。数据的名称或标识符。

    长度不小于3,且不大于20。

    数据源

    必填。参数枚举值在数据源管理页面配置。

    OBS数据路径

    必填。数据在OBS桶中的路径。当配置“数据源”后,该参数显示。

    说明:
    • OBS数据路径可选择文件夹与文件。如果选择文件夹要确保该文件夹下有csv或json格式的文件。
    • OBS数据路径中,如果同个文件夹里包含多个文件,请确保其文件格式一致。
    • OBS数据路径中,只能包含中文、英文、数字、下划线。

    数据格式

    必填。数据的格式。

    • JSON:表示扩展名为.json的文件。
    • CSV:表示扩展名为.csv的文件。
      说明:
      • CSV文件支持UTF-8格式。
      • JSON文件、CSV文件不能包含pt_d字段,且需要包含时间格式的字段。
    表2 任务配置

    参数

    说明

    任务类型

    指定配置的任务类型。

    • 周期性任务
    • 一次性任务

    是否存在历史数据

    根据实际情况选择“是”或“否”。周期性任务数据不会导入以前的数据,如果需要查看以前的数据,该参数需配置为“是”。

    仅当“任务类型”为“周期性任务”时,该参数为必填参数。

    运行周期

    指定配置任务的运行周期。仅当“任务类型”为“周期性任务”时,该参数为必填参数。

    默认值:天

  6. 配置完成后,单击“下一步”
  7. 在数据表结构页面,选择“分区字段”。

    选择时间字段为分区字段。

  8. 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。

    数据表结构中的“字段名”只能包含字母、数字、下划线。

  9. 校验数据表结构完成后,单击“保存并启用”

MySql接入

  1. 在通用数据接入页面,单击“新建数据接入 > MySql接入”,进入新建数据接入页面。
  2. 配置数据接入基础信息和任务信息,参数说明如表3表4所示。

    表3 基础信息

    参数

    说明

    数据接入名称

    必填。数据的名称或标识符。

    长度不小于3,且不大于20。

    数据源

    必填。参数枚举值在数据源管理页面配置。

    数据表

    数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。

    说明:

    数据表中不能包含pt_d字段,且需要包含时间格式的字段。

    表4 任务配置

    参数

    说明

    任务类型

    指定配置的任务类型。

    • 周期性任务
    • 一次性任务

    是否存在历史数据

    根据实际情况选择“是”或“否”。周期性任务数据不会导入以前的数据,如果需要查看以前的数据,该参数需配置为“是”。

    仅当“任务类型”为“周期性任务”时,该参数为必填参数。

    运行周期

    指定配置任务的运行周期。仅当“任务类型”为“周期性任务”时,该参数为必填参数。

    默认值:天

  3. 配置完成后,单击“下一步”
  4. 在数据表结构页面,选择“分区字段”。

    选择时间字段为分区字段。

  5. 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
  6. 校验数据表结构完成后,单击“保存并启用”

更多操作

新建通用数据接入成功后,您还可以在通用数据接入页面执行如下操作。

表5 更多操作

操作

说明

启用数据接入

在指定数据接入名称操作列,单击“启用”,可以启用数据接入。

停用数据接入

在指定数据接入名称操作列,单击“停用”,可以停用数据接入。

预览数据接入

在指定数据接入名称操作列,单击“预览数据”,在“表数据”页签可以预览数据接入。

运行日志

在指定数据接入名称操作列,单击“更多 > 运行日志”,在“运行日志”页签可以查看指标运行日志。

删除数据接入

在指定数据接入名称操作列,单击“更多 > 删除”,可以删除数据接入。

说明:

如您确定要删除,请输入“DELETE”后单击“确认”。

相关文档