新建数据接入将源端数据迁移到运营中心
运营中心提供OBS数据接入、MySql数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。
前提条件
- 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。
- OBS接入和MySql接入,需先已完成在运营中心新建数据源。
OBS接入
- 登录AppStage控制台。
- 在快捷入口选择“运营中心”,进入运营中心。
- 在左侧导航栏选择“数据管理 > 通用数据接入”,进入通用数据接入页面。
- 单击“新建数据接入 > OBS接入”,进入新建数据接入页面。
- 配置数据接入基础信息和任务信息,参数说明如表1和表2所示。
表1 基础信息 参数
说明
数据接入名称
必填。数据的名称或标识符。
长度不小于3,且不大于20。
数据源
必填。参数枚举值在数据源管理页面配置。
OBS数据路径
必填。数据在OBS桶中的路径。当配置“数据源”后,该参数显示。
说明:- OBS数据路径可选择文件夹与文件。如果选择文件夹要确保该文件夹下有csv或json格式的文件。
- OBS数据路径中,如果同个文件夹里包含多个文件,请确保其文件格式一致。
- OBS数据路径中,只能包含中文、英文、数字、下划线。
数据格式
必填。数据的格式。
- JSON:表示扩展名为.json的文件。
- CSV:表示扩展名为.csv的文件。
说明:
- CSV文件支持UTF-8格式。
- JSON文件、CSV文件不能包含pt_d字段,且需要包含时间格式的字段。
- 配置完成后,单击“下一步”。
- 在数据表结构页面,选择“分区字段”。
选择时间字段为分区字段。
- 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
数据表结构中的“字段名”只能包含字母、数字、下划线。
- 校验数据表结构完成后,单击“保存并启用”。
MySql接入
- 在通用数据接入页面,单击“新建数据接入 > MySql接入”,进入新建数据接入页面。
- 配置数据接入基础信息和任务信息,参数说明如表3和表4所示。
表3 基础信息 参数
说明
数据接入名称
必填。数据的名称或标识符。
长度不小于3,且不大于20。
数据源
必填。参数枚举值在数据源管理页面配置。
数据表
数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。
说明:数据表中不能包含pt_d字段,且需要包含时间格式的字段。
- 配置完成后,单击“下一步”。
- 在数据表结构页面,选择“分区字段”。
选择时间字段为分区字段。
- 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
- 校验数据表结构完成后,单击“保存并启用”。
更多操作
新建通用数据接入成功后,您还可以在通用数据接入页面执行如下操作。
操作 |
说明 |
---|---|
启用数据接入 |
在指定数据接入名称操作列,单击“启用”,可以启用数据接入。 |
停用数据接入 |
在指定数据接入名称操作列,单击“停用”,可以停用数据接入。 |
预览数据接入 |
在指定数据接入名称操作列,单击“预览数据”,在“表数据”页签可以预览数据接入。 |
运行日志 |
在指定数据接入名称操作列,单击“更多 > 运行日志”,在“运行日志”页签可以查看指标运行日志。 |
删除数据接入 |
在指定数据接入名称操作列,单击“更多 > 删除”,可以删除数据接入。
说明:
如您确定要删除,请输入“DELETE”后单击“确认”。 |