-
数据资产管理服务
- 文档导读
- 产品介绍
- 快速入门
- 用户指南
-
API参考
- 使用前必读
- 接口简介
- 环境准备
- 接口使用方法
-
数据集
- 数据集订购接口
- 数据集发布接口
- 目录管理接口
- 数据集管理接口
- 数据集可视授权接口
-
订阅和审批接口
- 查询数据集订阅类型
- 申请订阅单个数据集
- 查询已经订阅的数据集
- 将需要订阅的数据集加入购物车
- 删除加入购物车的内容
- 查询加入购物车的内容
- 申请人员查看申请信息
- 查看具体的申请内容
- 添加审批人员信息
- 查看审批人员信息
- 删除审批人员信息
- 审批人员查看待审批或者已经审批的申请信息
- 审批人员审批申请信息
- 查询订购用户信息
- 查询用户订阅并下载成功的数据集信息
- 根据数据集ID查询用户订阅成功数据集详情信息
- 查看给定数据集的订阅情况
- 撤销未审批完成的订单
- 申请本地下载数据集
- 获取用户订阅申请状态
- 自动订阅数据集
- 查询自动订阅的数据集的下载状态
- 批量申请订阅数据集
- 数据集订阅到期续订和确认销毁
- 数据集订阅到期续订
- 重复提交校验
- 订阅付费数据集
- 根据ID订阅付费数据集
- 数据集下载接口
- 计量统计接口
- 用户信息管理接口
- 通知接口
- 标签接口
- 数据集评论接口
- 网图服务数据集查询接口
- 数据集备份恢复接口
- 数据资产账本接口
-
数据接入
- 管理软件包
- 管理采集机（运维）
- 管理采集机（用户）
-
管理采集任务
- 创建采集任务（数据准备，含机机接口）
- 创建采集任务
- 创建采集任务（控制节点，含机机接口）
- 编辑采集任务（数据节点，console页面）
- 启动采集任务（数据准备，含机机接口）
- 启动采集任务（控制节点，含机机接口）
- 启动采集任务（数据节点，console页面）
- 停止采集任务（数据准备，含机机接口）
- 停止采集任务（控制节点，含机机接口）
- 停止采集任务(数据节点console页面)
- 删除采集任务（数据准备，含机机接口）
- 删除采集任务（控制节点，含机机接口）
- 删除采集任务（数据节点，console页面）
- 连通性测试（数据准备，含机机接口）
- 连通性测试（数据准备，控制节点，含机机接口）
- 连通性测试（console，数据节点）
- 连通性测试（console，控制节点）
- 判断VPN是否打通
- 发送邮件
- 查询采集任务列表
- 采集任务发布数据集
- 查询采集任务详情
- 更新采集任务（数据节点）
- 查询采集任务状态列表
- 获取任务采集批次信息
- 获取任务批次采集信息
- 查询采集任务日志
- 删除采集文件记录
- 根据标签查询采集任务（数据准备）
- 查询采集任务状态（数据准备）
- 查询项目OBS信息（数据准备）
- 项目ID与采集任务ID关联（数据准备）
- 项目ID与采集任务ID取消关联（数据准备）
- 下载采集数据记录
- 查询kafkatopic信息
- 上传kafka证书
- 查询国家或者城市编码
- 根据协议类型获取协议类别列表
- 根据协议和采集机ID获取对应的探针包信息
- 根据采集机ID获取所有探针包信息
- 获取探针自定义参数
- 管理本地上传任务
- 数据接入备份恢复
- 采集机相关接口（机机接口）
- 订购数据服务相关接口
- 管理用户信息
- 施工数据相关接口
- 网图服务相关接口
- 数据解析
- 数据备份
- 数据恢复
- 数据准备
- 公共参数
- 修订记录
- 常见问题
- 产品术语
-
数据集服务
- 文档导读
- 产品介绍
- 快速入门
- 用户指南
-
API参考
- 使用前必读
- 接口简介
- 环境准备
- 接口使用方法
- 数据集服务订购接口
- 数据集发布接口
- 目录管理接口
- 数据集管理接口
- 数据集可视授权接口
-
订阅和审批接口
- 查询数据集订阅类型
- 申请订阅单个数据集
- 查询已经订阅的数据集
- 将需要订阅的数据集加入购物车
- 删除加入购物车的内容
- 查询加入购物车的内容
- 申请人员查看申请信息
- 查看具体的申请内容
- 添加审批人员信息
- 查看审批人员信息
- 删除审批人员信息
- 审批人员查看待审批或者已经审批的申请信息
- 审批人员审批申请信息
- 查询订购用户信息
- 查询用户订阅并下载成功的数据集信息
- 根据数据集ID查询用户订阅成功数据集详情信息
- 查看给定数据集的订阅情况
- 撤销未审批完成的订单
- 获取用户订阅申请状态
- 自动订阅数据集
- 查询自动订阅的数据集的下载状态
- 批量申请订阅数据集
- 数据集订阅到期续订和确认销毁
- 数据集订阅到期续订
- 重复提交校验
- 订阅付费数据集
- 根据ID订阅付费数据集
- 数据集下载接口
- 计量统计接口
- 用户信息管理接口
- 通知接口
- 标签接口
- 数据集评论接口
- 网图服务数据集查询接口
- 数据集服务备份恢复接口
- 数据资产账本接口
- 公共参数
- 修订记录
- 常见问题
- 产品术语
- 数据生成服务
- 模型训练服务
- 文档下载
- 通用参考
链接复制成功！
数据集简介
基本概念
数据集模块主要为模型训练服务提供统一的数据管理能力，数据集可以提供给特征工程，做特征处理和提取关键特征；也可以直接加入模型训练。数据集相关的两个基本概念：
- 数据集：某业务下具有相同数据格式数据的逻辑集合。
- 数据：数据集实例，有具体的特征和样本数据。
数据集以文件夹的形式管理数据，一个数据集中可以包含多份数据，从而对数据进行高效简洁的管理。用户可以根据数据的业务特点建立数据集，例如在大型DC PUE Case中，可以创建空调、冷站等数据集，再分别创建相应的数据。
数据来源
数据集实例来源有五种：
- 本地上传
- 导入样例数据
- 导入数据集服务订阅的数据
- 数据经过特征处理并应用特征操作流后，系统自动生成的数据
- 数据连接或数据合并后，系统自动生成的目标数据
操作说明
导入数据的方式包括本地上传、导入样例数据、订阅数据目录数据三种。经特征处理、数据连接或数据联合后生成的数据，为系统自动生成的数据，不支持用户手动导入。
“数据集”在创建数据集、导入数据后，还支持对数据进行分析。用户可以根据数据结果对数据质量进行评估，判断数据集是否可以直接进行模型训练，或必须经过特征处理后才能加入模型训练。“数据集”还支持将多份数据进行“数据联合”或“数据连接”的操作，用于增强样本或扩展特征维度。数据集相关操作请参见数据集操作。
数据集页面
“数据集”页面包含了左侧数据目录区域和右侧数据集详情区域。在左侧区域中，可以新建数据集、导入数据集的数据集实例、删除数据。在右侧区域，可以通过列表的形式查看数据详情、对数据执行特征工程、基于数据新建特征工程、跳转模型训练界面、删除数据。“数据集”页面详情请参见图1，“数据集”页面操作信息，请参见表1。
|
区域 |
参数名称 |
参数说明 |
|---|---|---|
|
1 |
|
新建数据集。 |
|
|
修改数据集别名和描述。需要先选中数据集，再修改数据集信息。 |
|
|
|
删除数据集或数据。 |
|
|
|
导入数据。 当前支持本地上传、样例数据、数据目录三种方式。 |
|
|
|
数据连接。详情请参见数据连接。 |
|
|
|
数据联合。详情请参见数据联合。 |
|
|
|
数据同步图标。用户在数据集服务上订阅完成数据集后，支持一键式导入至模型训练服务的DatasetService数据集中。 |
|
|
2 |
|
输出数据名称关键字，快速检索数据。 |
|
|
本地上传数据的快捷入口。 |
|
|
|
选择样例数据的快捷入口。 |
|
|
3 |
名称 |
数据集实例的名称。 |
|
数据来源 |
数据集实例的来源：
|
|
|
数据类别 |
导入数据的类别。 包含如下选项：
|
|
|
行数 |
数据的样本数量。 |
|
|
列数 |
数据的特征列数量。 |
|
|
状态 |
数据的当前状态。 |
|
|
创建时间 |
数据创建的时间。 |
|
|
操作 |
可对数据执行的操作： |
DatasetService数据集
DatasetService数据集是模型训练服务预置的数据集，专门存放从数据集服务订阅的数据集。
操作方法如下所示：
- 如果界面左侧目录不展示DatasetService，说明当前用户还没有从数据集服务订阅过数据。单击界面左上角的
图标，界面左侧自动生成DatasetService数据集目录。 - 如果界面左侧目录已展示DatasetService，则单击界面左侧的DatasetService，界面右侧展示数据集详情界面。单击界面右上角的“数据订阅”，自动打开数据集服务，并进入服务首页，请根据实际情况订阅需要的数据集。再回模型模型训练服务DatasetService数据集详情界面，单击界面右上角的“数据同步”，将数据集服务订阅的数据全量导入至模型训练服务，如图2所示。
