创建采集任务(网络直连方式)
网络直连场景是指用户的数据源网络已和公网网络打通,用户可直接创建数据采集任务。
气象数据仅支持网络直连方式。
支持的协议类型为:sftp、ftps、restful、Kafka、database。
操作步骤
- 在数据服务左侧导航,选择 。
- 选择“采集任务”页签。
- 在“采集任务”界面右上角,单击“创建任务”。
- 选择数据接入方式。
这里以
为例,用户根据需求选择。- ICT数据接入:分为端(暂不支持)、管、云。
- 端:指的是终端数据,包含手机和机顶盒的数据。
- 管:指的是网管数据,包含接入、传送(暂不支持)、数通、云核、无线、能源、IT和园区的数据。
- 云:指的是互联网和云服务的数据,包含GIS(暂不支持)、气象、施工、云服务、OBS的数据。
- 其他数据接入:分为本地上传、远程sftp/ftps、Kafka流数据、数据库数据、API。
- ICT数据接入:分为端(暂不支持)、管、云。
- 在“网络配置”下,选择“网络直连”。
- 单击“下一步”。
- 配置基本信息,参数说明见表1。 或当数据接入方式选的是
- 配置数据源信息,参数说明见表2。
当数据接入方式选择
,则无数据源信息。“数据类型”多选后,需要对每个数据类型下的数据源进行配置,这里以协议类型为“SFTP”为例。
表2 配置数据源信息 参数
说明
协议类型
必填项。
数据源协议的类型。“数据类型”选择值后,在下拉框中选择。例如“SFTP”。
当“协议类型”的值为“SFTP”或“FTPS”时,支持添加多数据源。
IP地址和端口
必填项。
数据所在的主机的IP地址和端口号。
用户名
必填项。
数据所在的主机的用户名。
密码
必填项。
数据所在的主机的密码。
数据存放路径
必填项。
采集的数据的存储路径。以“/”开头,不能有“../”或“~/”。
其他协议类型的数据源,配置参考请参见数据源配置参考。
- 数据源信息配置完成后,单击“连通性测试”。
如果有多个数据源,每个数据源信息配置完成后,都需要做连通性测试。
- 配置采集策略。
满足以下条件时才需要配置采集策略:
- 当“协议类型”为“SFTP”、“FTPS”或“Database”时。
- 当数据接入方式选择 时。
- 当数据接入方式选择 时。
- 当数据接入方式选择“协议类型”为“RESTFul”时。 ,且
采集策略参数说明如下:- 一次性采集:该采集任务仅采集一次。缺省值为“一次性采集”。
- 按间隔采集:该采集任务按设置的间隔时间采集数据。
- 按周期采集:该采集任务按设置的周期和启动时间采集数据。
- 单击“确定”。
- (可选)配置数据存储,参数说明见表3。
当数据接入方式选择"其他数据接入>Kafka流数据"时,则需要执行此步骤。
- 单击“确定”。
- 配置任务信息,任务信息参数说明见表4。
- 单击“创建”。
- 在“成功”对话框中单击“确认”。
采集任务创建成功后,自动显示在“采集任务”页签的任务列表中。
如果“数据类型”选择了多种,则系统显示的采集任务的名称为设置的任务名称后加下划线及数字区分。
- (可选)在采集任务列表中,支持对已创建的任务做如下操作。
- 编辑任务:在采集任务列表中需要编辑的任务对应的“操作”列下,单击。
- 删除任务:在采集任务列表中需要删除的任务对应的“操作”列下,单击>。