创建并配置数据入图任务(数据库映射)
通过在LinkX-F中创建数据库类型的数据入图任务,您可以实现将指定模型源端关系型数据库中对应的实例数据写入到目标端指定的图数据库中。
![点击放大](https://support.huaweicloud.com/instg-idme/figure/zh-cn_image_0000001935323189.png)
通过配置手工调度或定时调度,基于数据入图任务生成入图调度,通过队列机制,可以实现有序的将目标实体对应的实例数据成功入图。
调度类型 |
说明 |
---|---|
手工调度 |
按照已配置的手工调度立即执行,即手动触发调度且单次运行。 |
定时调度 |
制定定时调度计划后,系统会按照已设置调度计划中的执行时间和频次自动执行任务调度。相比手工调度,定时任务调度可以自动化定时地完成数据处理过程。 |
前提条件
已获取开发人员及以上权限用户的账号和密码。
步骤1:定义任务信息
- 登录LinkX-F系统首页。
- 选择“数据入图任务”页面。 ,默认进入
- 单击“创建”,系统右侧弹出“任务定义”页面。
- 填写基本信息和入图配置信息。如表2所示:
图2 任务配置示例
表2 配置入图任务 参数
说明
基本信息
入图方式
必填,保持默认,暂不支持修改。
任务名称
必填,必须以中文或者字母开头,且只能包含中文、字母、数字、下划线,且不能重复,长度不能超过128个字符。
任务描述
必填,手工输入,必填长度不能超过1024个字符。
任务类型
必填,默认“周期任务”且不支持修改。
导入对象类型
必填,选择导入对象的类型。
- 数据实体&关系:默认选项,表示导入数据实体和非实体型关系类型的对象。
- 关系:表示导入非实体型关系的对象。
- 关系实体:表示导入实体型关系的对象。
任务owner
必填,任务所有者。
数据实体
选择数据实体。
支持下拉选择或手工输入联想,可选值仅展示“已发布”的所有数据实体。
仅当“导入对象类型”选“数据实体&关系”或“关系”时显示该字段且必填。
关系实体
选择关系实体。
支持下拉选择或手工输入联想,可选值仅展示“已发布”的“是否实体”为“是”的关系实体。
仅当“导入对象类型”选“关系实体”时显示该字段且必填。
所属领域
自动写入所选数据实体或关系实体的所属领域。
数据入图类型
必填,选择数据入图类型,可选“数据库映射”、“CSV文件”或“API映射”。
此处选择“数据库映射”类型。
删除数据
默认为“否”,当设置为“是”后,会将DelFlag为Y的数据在图数据库中进行删除。
必填,仅当导入对象类型选“数据实体&关系”或“关系实体”时显示该字段。
父数据实体
自动写入已选数据实体的父数据实体。
仅当导入对象类型选“数据实体&关系”或“关系”时显示该字段。
优先级
必选,设置任务被调度的优先级,默认值为10。
设置任务优先级目的是为了在执行任务调度时,在所有处于就绪状态的任务中,优先级越高的任务优先会被调度。
源端信息
当“数据入图类型”选择“数据库映射”时,填写下列配置项。
映射名称
根据“基本信息”中已选择的实体,选择其对应的且已发布的关系型数据库映射。
根据选择的实体不同,源端信息的映射名称不同,下拉可选值来源于目标实体详情页的
中的关系型数据库映射。数据源名称
根据选择的映射名称自动写入数据源名称。
数据源类型
根据数据源名称自动写入数据源类型。
数据库类型
根据数据源名称自动写入数据库类型。
抽取方式
必填,根据选择的映射名称自动写入值,抽取方式显示为“物理表”或“自定义SQL”。
Schema
仅当“抽取方式”为“物理表”才显示并根据选择的映射名称自动写入值。
表名
仅当“抽取方式”为“物理表”才显示并根据选择的映射名称自动写入值。
自定义SQL
仅当“抽取方式”为“自定义SQL”才显示并根据选择的映射名称自动写入值。
增量字段
必填,根据选择的映射名称自动写入值。
并发数
仅当“抽取方式”选择“物理表”或“自定义SQL”,才显示该字段且必填,默认为1,支持修改。
说明:若数据源为PostgreSQL或MySQL类型,并发数值只能为1且不支持修改。
并发分组
仅当“抽取方式”选择“物理表”或“自定义SQL”,才显示该字段,默认ROWID,不可修改。
目标端信息
映射名称
根据“基本信息”中已选择的实体,选择其对应的且已发布的图数据库映射。
根据选择的实体不同,目标端信息的映射名称不同,下拉可选值来源于目标实体详情页的
中的图数据库映射。数据源名称
必填,由选择的映射名称自动写入不能修改。
数据源类型
根据数据源名称自动写入不能修改。
数据库类型
根据数据源名称自动写入不能修改。
Schema
根据数据源名称自动写入不能修改。
删除标识
仅当“删除数据”选“是”时才显示该字段且必填,可下拉选择。
图标签与映射配置
图标签
必填,根据选择的目标端映射名称自动写入表名,不能修改。
当“导入对象类型”选择“关系实体”时,需配置“源端图标签”和“目标端图标签”。
映射配置
根据选择的映射名称自动获取不能修改。
- 填写完成后单击“保存”。
步骤2:选择手工调度配置场景
同一任务可同时开启多个手工调度,且所有任务总计不超过10个调度。需保证处在“执行中”或“待执行”的各调度之间的调度数据起止时间不可重叠,否则无法执行。
- 进入“数据入图任务”页面。
- (可选)通过条件筛选功能,快速筛选出“数据入图类型”为“数据库映射”的任务。
图3 数据入图类型为数据库映射的任务
- 找到待操作的目标任务,单击其操作列处的
,弹出手工调度配置窗口。
图4 手工调度配置窗口 - 配置手工调度参数。
表3 手工调度配置参数说明 参数
说明
数据起止时间
确定入图的数据范围,即数据起始时间和数据终止时间。
非首次制定计划数据起止时间根据上次调度数据结束时间与系统当前时间自动填充。
数据分片间隔
数据分片定义了系统从后台取数据的粒度,数据分片间隔根据选择单位和计数器制定。
- 分钟从5起步,自增长步长为5,最大不超过60。
- 小时、天、周和月从1起步,自增长步长为1。小时最大不超过24小时,天最大不超过30天,周最大不超过4周,月最大不超过12月。
VIP调度
VIP调度可享受最高调度优先级。
- 配置完调度参数后单击“确定”,立即执行。
步骤2:选择定时调度配置场景
定时调度是指制定定时调度计划后,系统会按照已设置调度计划中的执行时间和频次自动执行任务调度。
- 进入“数据入图任务”页面。
- (可选)通过条件筛选功能,快速筛选出“数据入图类型”为“数据库映射”的任务。
图5 数据入图类型为数据库映射的任务
- 找到待操作的目标任务,单击其操作列处的
,弹出调度计划配置窗口。
如需为多个任务批量制定调度计划,您可勾选多个任务后单击列表上方的“制定计划”。
图6 调度计划配置窗口 - 配置调度计划参数。
表4 调度计划配置参数说明 参数
说明
调度周期
调度周期的时间单位,包括分、时、天、周和月。
间隔时间
选择调度执行的间隔时间。
调度首次执行时间
选择调度首次执行时间。
首次执行时间不能早于当前时间,确保调度计划能够正常运行。
调度截至执行时间
选择调度截至执行时间。
截止执行时间不能早于首次执行时间,默认为空表示无限期。
数据起始时间
确定入图的数据起始时间。
数据分片间隔
每次调度按分片间隔时间读取数据。
- 配置完调度计划后单击“保存”。
- 单击“启动”,启动定时调度任务。
如有需要,您也可进入目标任务的调度计划页面暂停或停止已启动的任务。
根据实际业务场景,支持批量启动、暂停或停止多个制定计划的任务,但该操作会同时影响对应任务中的所有调度。
- 启动任务:在任务列表中勾选已制定计划的任务,单击“启动”。
- 暂停任务:在任务列表中勾选已启动的任务,单击“暂停”。已暂停的任务再次启动时会延续上一次的进程。
- 停止任务:在任务列表中勾选已启动的任务,单击“停止”。已停止的任务再次启动时会重新开始进程。