创建采集任务(采集Agent方式)
使用采集Agent场景需要用户在自己的网络区域安装采集Agent,保证和数据源网络可以正常通信。
安装采集Agent的方法请参考安装采集Agent。
气象数据不支持采集Agent方式。
支持的协议类型为:sftp、ftps、restful、corba、snmp、Kafka、database。
操作步骤
- 在数据服务左侧导航,选择 。
- 选择“采集任务”页签。
- 在“采集任务”界面右上角,单击“创建任务”。
- 选择数据接入方式。
这里以
为例,用户根据需求选择。- ICT数据接入:分为端(暂不支持)、管、云。
- 端:指的是终端数据,包含手机和机顶盒的数据。
- 管:指的是网管数据,包含接入、传送(暂不支持)、数通、云核、无线、能源、IT和园区的数据。
- 云:指的是互联网和云服务的数据,包含GIS(暂不支持)、气象、施工、云服务、OBS的数据。
- 其他数据接入:分为本地上传、远程sftp/ftps、Kafka流数据、数据库数据、API。
- ICT数据接入:分为端(暂不支持)、管、云。
- 在“网络配置”下,选择“采集Agent”。
- (可选)选择采集Agent。
如果安装了多个采集Agent,执行此步骤。
- 单击“下一步”。
- 配置基本信息,参数说明见表1。 或当数据接入方式选的是
- 配置数据源信息,参数说明见表2。
“数据类型”多选后,需要对每个数据类型下的数据源进行配置,这里以协议类型为“SFTP”为例。
- 数据源信息配置完成后,单击“连通性测试”。
如果有多个数据源,每个数据源信息配置完成后,都需要做连通性测试。
- 配置采集策略。
满足以下条件时才需要配置采集策略:
- 当“协议类型”为“SFTP”、“FTPS”“Database”时。
- 当数据接入方式选择“协议类型”为“RESTFul”时。 ,且
- 当数据接入方式选择 时。
采集策略参数说明如下:- 一次性采集:该采集任务仅采集一次。
- 按间隔采集:该采集任务按设置的间隔时间采集数据。
- 按周期采集:该采集任务按设置的周期和启动时间采集数据。
- 单击“确定”。
- (可选)配置数据存储,参数说明见表3。
当数据接入方式选择"其他数据接入>Kafka流数据"时,则需要执行此步骤。
- 单击“确定”。
- 配置任务信息,任务信息参数说明见表4。
- 单击“创建”。
- 在“成功”对话框中单击“确认”。
采集任务创建成功后,自动显示在“采集任务”页签的任务列表中。
如果“数据类型”选择了多种,则系统显示的采集任务的名称为设置的任务名称后加下划线及数字区分。
- (可选)在采集任务列表中,支持对已创建的任务做如下操作。
- 编辑任务:在采集任务列表中需要编辑的任务对应的“操作”列下,单击
。
- 删除任务:在采集任务列表中需要删除的任务对应的“操作”列下,单击
。
- 编辑任务:在采集任务列表中需要编辑的任务对应的“操作”列下,单击