通用数据接入
运营中心提供通用数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。
前提条件
- 需要具备AppStage指标开发者或运营管理员权限,权限申请操作请参见权限管理。
- 已完成数据源管理。
新建数据接入
- 在AppStage首页右上区域单击“运营中心”快捷入口,进入运营中心工作台。
- 在左侧导航栏选择“数据管理 > 通用数据接入”,进入通用数据接入页面。
- 单击“新建数据接入”,进入新建数据接入页面。
- 配置数据接入基础信息和任务信息,参数说明如表1和表2所示。
表1 基础信息 参数
说明
数据名称
必填。数据的名称或标识符。
长度不小于3,且不大于20。
数据源类型
必填。数据源的类型。
- OBS数据源
- MySql数据源
数据源
必填。参数枚举值在“数据源”页面配置。
OBS数据路径
必填。数据在OBS桶中的路径。
仅当“数据源类型”为“OBS数据源”时,该参数为必填参数。
说明:选择的OBS数据路径中,如果同个文件夹里包含多个文件,请确保其文件格式一致。
数据格式
必填。数据的格式。仅当“数据源类型”为“OBS数据源”时,该参数为必填参数。
- JSON_FILE:表示扩展名为.json的文件。
- CSV_FILE:表示扩展名为.csv的文件。
说明:
- CSV文件支持UTF-8格式。
- CSV文件必须包含pt_d字段。
数据表
数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。
仅当“数据源类型”为“MySql数据源”时,该参数为必填参数。
说明:数据表中必须包含pt_d和pt_t字段。
- 配置完成后,单击“下一步”。
- 在数据表结构页面,选择“分区字段”。
建议选择时间字段为分区字段。
- 请校验数据表结构中的字段类型,如果不匹配可能会导致后续的数据建模及分析出现异常或错误。
- 校验数据表结构完成后,单击“保存并启用”。
更多操作
新建数据接入成功后,您还可以在数据接入页面执行如下操作。
操作 |
说明 |
---|---|
启用数据 |
进入“通用数据接入”页面,在指定数据名称操作列,单击“启用”,可以启用数据。 |
停用数据 |
进入“通用数据接入”页面,在指定数据名称操作列,单击“停用”,可以停用数据。 |
预览数据 |
进入“通用数据接入”页面,在指定数据名称操作列,单击“预览数据”,在“表数据”页签可以预览数据。 |
运行日志 |
进入“通用数据接入”页面,在指定数据名称操作列,单击“更多 > 运行日志”,在“运行日志”页签可以查看指标运行日志。 |
删除数据 |
进入“通用数据接入”页面,在指定数据名称操作列,单击“更多 > 删除”,可以删除数据。 |