-
数据资产管理服务
- 文档导读
- 产品介绍
- 快速入门
- 用户指南
-
API参考
- 使用前必读
- 接口简介
- 环境准备
- 接口使用方法
-
数据集
- 数据集订购接口
- 数据集发布接口
- 目录管理接口
- 数据集管理接口
- 数据集可视授权接口
-
订阅和审批接口
- 查询数据集订阅类型
- 申请订阅单个数据集
- 查询已经订阅的数据集
- 将需要订阅的数据集加入购物车
- 删除加入购物车的内容
- 查询加入购物车的内容
- 申请人员查看申请信息
- 查看具体的申请内容
- 添加审批人员信息
- 查看审批人员信息
- 删除审批人员信息
- 审批人员查看待审批或者已经审批的申请信息
- 审批人员审批申请信息
- 查询订购用户信息
- 查询用户订阅并下载成功的数据集信息
- 根据数据集ID查询用户订阅成功数据集详情信息
- 查看给定数据集的订阅情况
- 撤销未审批完成的订单
- 申请本地下载数据集
- 获取用户订阅申请状态
- 自动订阅数据集
- 查询自动订阅的数据集的下载状态
- 批量申请订阅数据集
- 数据集订阅到期续订和确认销毁
- 数据集订阅到期续订
- 重复提交校验
- 订阅付费数据集
- 根据ID订阅付费数据集
- 数据集下载接口
- 计量统计接口
- 用户信息管理接口
- 通知接口
- 标签接口
- 数据集评论接口
- 网图服务数据集查询接口
- 数据集备份恢复接口
- 数据资产账本接口
-
数据接入
- 管理软件包
- 管理采集机(运维)
- 管理采集机(用户)
-
管理采集任务
- 创建采集任务(数据准备,含机机接口)
- 创建采集任务
- 创建采集任务(控制节点,含机机接口)
- 编辑采集任务(数据节点,console页面)
- 启动采集任务(数据准备,含机机接口)
- 启动采集任务(控制节点,含机机接口)
- 启动采集任务(数据节点,console页面)
- 停止采集任务(数据准备,含机机接口)
- 停止采集任务(控制节点,含机机接口)
- 停止采集任务(数据节点console页面)
- 删除采集任务(数据准备,含机机接口)
- 删除采集任务(控制节点,含机机接口)
- 删除采集任务(数据节点,console页面)
- 连通性测试(数据准备,含机机接口)
- 连通性测试(数据准备,控制节点,含机机接口)
- 连通性测试(console,数据节点)
- 连通性测试(console,控制节点)
- 判断VPN是否打通
- 发送邮件
- 查询采集任务列表
- 采集任务发布数据集
- 查询采集任务详情
- 更新采集任务(数据节点)
- 查询采集任务状态列表
- 获取任务采集批次信息
- 获取任务批次采集信息
- 查询采集任务日志
- 删除采集文件记录
- 根据标签查询采集任务(数据准备)
- 查询采集任务状态(数据准备)
- 查询项目OBS信息(数据准备)
- 项目ID与采集任务ID关联(数据准备)
- 项目ID与采集任务ID取消关联(数据准备)
- 下载采集数据记录
- 查询kafkatopic信息
- 上传kafka证书
- 查询国家或者城市编码
- 根据协议类型获取协议类别列表
- 根据协议和采集机ID获取对应的探针包信息
- 根据采集机ID获取所有探针包信息
- 获取探针自定义参数
- 管理本地上传任务
- 数据接入备份恢复
- 采集机相关接口(机机接口)
- 订购数据服务相关接口
- 管理用户信息
- 施工数据相关接口
- 网图服务相关接口
- 数据解析
- 数据备份
- 数据恢复
- 数据准备
- 公共参数
- 修订记录
- 常见问题
- 产品术语
-
数据集服务
- 文档导读
- 产品介绍
- 快速入门
- 用户指南
-
API参考
- 使用前必读
- 接口简介
- 环境准备
- 接口使用方法
- 数据集服务订购接口
- 数据集发布接口
- 目录管理接口
- 数据集管理接口
- 数据集可视授权接口
-
订阅和审批接口
- 查询数据集订阅类型
- 申请订阅单个数据集
- 查询已经订阅的数据集
- 将需要订阅的数据集加入购物车
- 删除加入购物车的内容
- 查询加入购物车的内容
- 申请人员查看申请信息
- 查看具体的申请内容
- 添加审批人员信息
- 查看审批人员信息
- 删除审批人员信息
- 审批人员查看待审批或者已经审批的申请信息
- 审批人员审批申请信息
- 查询订购用户信息
- 查询用户订阅并下载成功的数据集信息
- 根据数据集ID查询用户订阅成功数据集详情信息
- 查看给定数据集的订阅情况
- 撤销未审批完成的订单
- 获取用户订阅申请状态
- 自动订阅数据集
- 查询自动订阅的数据集的下载状态
- 批量申请订阅数据集
- 数据集订阅到期续订和确认销毁
- 数据集订阅到期续订
- 重复提交校验
- 订阅付费数据集
- 根据ID订阅付费数据集
- 数据集下载接口
- 计量统计接口
- 用户信息管理接口
- 通知接口
- 标签接口
- 数据集评论接口
- 网图服务数据集查询接口
- 数据集服务备份恢复接口
- 数据资产账本接口
- 公共参数
- 修订记录
- 常见问题
- 产品术语
- 数据生成服务
- 模型训练服务
- 文档下载
- 通用参考
链接复制成功!
时序数据处理
缺失时间填充
时序序列是在连续的等间隔时间点采集的序列,缺失时间填充即根据已知的时间信息,补充缺失的时间。缺失时间填充完成后,其值可通过“数据处理 > 数据清洗 > 空值填充”菜单,进行空值填充。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 缺失时间填充”,界面新增“缺失时间填充”内容。
对应参数说明,如表1所示。
- 单击
图标,运行“缺失时间填充”代码框内容。
时序数据排序
时序数据排序即根据给定的参数对时间序列进行排序。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 时序数据排序”,界面新增“时序数据排序”内容。
对应参数说明,如表2所示。
- 单击
图标,运行“时序数据排序”代码框内容。
时间迁移
时间迁移即转换时序数据的时间,如将时间整体向前推移或整体向后推移等。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 时间迁移”,界面新增“时间迁移”内容。
对应参数说明,如表3所示。
- 单击
图标,运行“时间迁移”代码框内容。
时序数据重采样
时序数据重采样即时间序列从一个频率转换到另一个频率的过程。
其中:
- 高频率(采样间隔短)数据转换到低频率(采样间隔长)称为降采样。
- 低频率数据转换到高频率称为升采样。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 时序数据重采样”,界面新增“时序数据重采样”内容。
对应参数说明,如表4所示。
表4 时序数据重采样参数说明 参数
参数说明
时间列
时序数据的时间字段。
重采样频率
重采样时间频率,如“5H”。
时间频率单位说明:
- S:秒
- min:分钟
- H:小时
- D:天
- B:工作日
- W:周
- M:月
- Q:季
- A:年
重采样方法
当前支持的重采样方法:
- 升采样时可选择:不填充、前向填充、后向填充、插值填充。
- 降采样时可选择:求和、求均值、求方差、中位数、第一个值、最大值、最小值、最后一个值。
如果采样方法为空,则升采样默认方法为不填充;降采样默认方法为均值聚合。采样方法支持传入自定义函数。
ID列
时序数据的标识列。
当前操作流
从下拉框中选择当前数据操作流的名字。
操作流变量名
如果存在多个数据操作流,可重命名操作流对象的变量名,以避免冲突。
- 单击
图标,运行“时序数据重采样”代码框内容。
时序数据去噪
时序数据中可能会存在许多噪声数据,这些噪声严重影响进一步的定量分析和数据挖掘,因此需要进行数据去噪。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 时序数据去噪”,界面新增“时序数据去噪”内容。
对应参数说明,如表5所示。
表5 参数说明 参数
参数说明
列筛选方式
特征列的筛选方式,有如下两种:
- 列选择
- 正则匹配
列名
列筛选方式设置为“列选择”时才会展示。
通过单击“
”图标,在弹出的对话框中,选择一个或者多个特征列。
正则表达式
列筛选方式设置为“正则匹配”时才会展示。
请根据实际情况输入正则表达式,系统自动筛选符合正则筛选规则的所有特征列。
新列名
经过去噪后产生的新数据的列名。如果不设置,则直接在原有特征列上进行去噪处理。
时间列
待去噪时序数据的时间列。
其他参数配置
该参数用于在去噪时指定frac值。
去噪使用了statsmodels的局部加权回归散点平滑法(locally weighted scatterplot smoothing, LOWESS),其中局部表示每次只处理数据的一部分,此部分数据所占整体的比例由LOWESS的frac参数表示,而frac值可通过该参数传递。具体用法可参见查看“帮助中心 > SDK文档”。
当前操作流
从下拉框中选择当前数据操作流的名字。
操作流变量名
如果存在多个数据操作流,可重命名操作流对象的变量名,以避免冲突。
- 单击
图标,运行“时序数据去噪”代码框内容。
时间特征提取
时间特征提取是指从时序数据的时间列中提取出日期相关的特征,如年、月、日、时、分、秒、季节、星期几、一年中的第几周、一年中的第几天等特征。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 时间特征提取”,界面新增“时间特征提取”内容。
对应参数说明,如表6所示。
- 单击
图标,运行“时间特征提取”代码框内容。
时序特征提取
时序特征提取,即从时序数据中提取数据统计学特性,最大限度地找出样本内时间序列的统计特性和发展规律。
操作步骤如下所示。
- 单击界面右上角的
图标,选择“数据处理 > 时序数据处理 > 时序特征提取”,界面新增“时序特征提取”内容。
对应参数说明,如表7所示。
表7 时序特征提取参数说明 参数
参数说明
列筛选方式
特征列的筛选方式,有如下两种:
- 列选择
- 正则匹配
列名
列筛选方式为“列选择”时展示,时序特征提取的目标特征列,可单击“
”从特征列中选择一个或多个特征列。
正则表达式
列筛选方式为“正则匹配”时展示,请根据实际情况输入正则表达式,系统自动筛选符合正则筛选规则的所有特征列。
ID列
单击“
”从特征列中选取特征标识字段作为时序特征提取的ID列,仅支持单列选取。系统会根据ID列进行分组特征提取,如果不设置ID列,则默认“列名”选择的所有列数据都具有相同的ID。
时间列
单击“
”从特征列中选取时间字段作为时序特征提取的时间列,仅支持单列选取。如果为空,则认为时序数据已经按时间顺序排列。
特征提取策略
特征提取分层参数配置策略,支持如下策略:
- SmallEfficientFCParameters
- MoreEfficientFCParameters
- CombinedFCParameters
是否执行特征选择
是否选择提取的特征。
标签列
单击“
”从特征列中选取一列作为标签列,指定用于分析其他特征列和标签列的相关性。
FDR Level
“是否执行特征选择”开启时展示,进行特征选择时使用,表示显著性水平,是理论上的预期不相关特征在所有特征中所占的百分比。默认值为“0.05”。
当前操作流
从下拉框中选择当前数据操作流的名字。
操作流变量名
如果存在多个数据操作流,可重命名操作流对象的变量名,以避免冲突。
- 单击
图标,运行“时序特征提取”代码框内容。