创建采集数据库中的数据任务
您可以通过创建采集任务,采集schema、数据集、数据集字段等技术元数据。采集任务创建后,您可以查看和管理采集任务,包括任务的启动、执行、编辑配置信息等。
前提条件
- 需拥有数据管家角色,角色权限请参考DMAP数小二用户角色与权限说明。
创建采集任务
- 进入DMAP数小二实例控制台界面。
- 选择“数据管家360 > 元数据采集 > 采集任务配置”,进入采集任务配置页面中。
- 单击“创建采集任务”,在“创建采集任务”页面中,选择连接器,然后单击“下一步”。
- 配置采集任务信息,具体参数请参考表1。
表1 参数说明 参数
说明
任务名称
采集任务的任务名称,用户自定义。需满足如下要求:
- 只能以中文或英文开头。
- 只包含中文、英文、数字、( ) [ ] _ - . ▏以及空格。
描述
输入对采集任务的描述说明。
数据连接
选择在新增数据连接中已创建的数据连接。
Schema
选择数据连接下被创建采集任务的Schema。
过滤规则
为采集的数据配置过滤规则。配置说明如下:
- 名称符合过滤规则的数据集才会被采集 。
- 支持配置多个规则,规则间关系为或,如:前缀为ab_或后缀为cd_。
配置示例如图1,表示数据集的名称前缀为a且后缀为b或前缀为c且后缀为d才可以被采集到。
开始执行时间
选择采集任务开始执行时间。
周期类型
选择任务执行的周期类型,与执行周期配合使用。
例如:周期类型为“周”,执行周期为“2”,则表示每两周执行一次该采集任务。
执行周期
与周期类型配合使用,根据所选周期类型配置执行周期。
- 单击“确定”,系统提示“创建成功”。
启动/执行采集任务
- 在采集任务列表中找到需要启动的任务,单击“操作”栏中的“启动”或“执行”即可启动任务。
- 启动:表示启动采集任务的定时任务,即按照创建采集任务时配置的开始执行时间、周期类型以及执行周期启动采集任务。
- 执行:表示立即执行一次此采集任务。
- 采集任务启动后,“启动”按钮会变为“停止”按钮,单击“停止”即可停止任务。
查看任务执行记录
采集任务执行完成之后支持查看任务执行记录,便于用户查看采集任务的执行情况。任务执行记录包括调度开始时间、调度结束时间、耗时等,同时,可通过下载日志查看执行采集任务的日志详情。
- 在采集任务列表单击任务操作列的“执行记录”。
- 在“执行记录”页面查看任务执行详情,包含状态、调度开始时间、调度结束时间、耗时等。
- 单击列表前面的
,查看任务子流程的执行情况。
图2 查看任务子流程详情 - 单击“下载日志”,查看执行采集任务的日志详情。
系统仅保留日志的时间为7天,超过7天后“下载日志”按钮置灰,不可下载,请及时下载日志。
更多操作
采集任务创建完成后,您还可以执行如表2的操作。