网络智能体
网络智能体
-
数据资产管理服务
- 文档导读
- 产品介绍
- 快速入门
- 用户指南
-
API参考
- 使用前必读
- 接口简介
- 环境准备
- 接口使用方法
-
数据集
- 数据集订购接口
- 数据集发布接口
- 目录管理接口
- 数据集管理接口
- 数据集可视授权接口
-
订阅和审批接口
- 查询数据集订阅类型
- 申请订阅单个数据集
- 查询已经订阅的数据集
- 将需要订阅的数据集加入购物车
- 删除加入购物车的内容
- 查询加入购物车的内容
- 申请人员查看申请信息
- 查看具体的申请内容
- 添加审批人员信息
- 查看审批人员信息
- 删除审批人员信息
- 审批人员查看待审批或者已经审批的申请信息
- 审批人员审批申请信息
- 查询订购用户信息
- 查询用户订阅并下载成功的数据集信息
- 根据数据集ID查询用户订阅成功数据集详情信息
- 查看给定数据集的订阅情况
- 撤销未审批完成的订单
- 申请本地下载数据集
- 获取用户订阅申请状态
- 自动订阅数据集
- 查询自动订阅的数据集的下载状态
- 批量申请订阅数据集
- 数据集订阅到期续订和确认销毁
- 数据集订阅到期续订
- 重复提交校验
- 订阅付费数据集
- 根据ID订阅付费数据集
- 数据集下载接口
- 计量统计接口
- 用户信息管理接口
- 通知接口
- 标签接口
- 数据集评论接口
- 网图服务数据集查询接口
- 数据集备份恢复接口
- 数据资产账本接口
-
数据接入
- 管理软件包
- 管理采集机（运维）
- 管理采集机（用户）
-
管理采集任务
- 创建采集任务（数据准备，含机机接口）
- 创建采集任务
- 创建采集任务（控制节点，含机机接口）
- 编辑采集任务（数据节点，console页面）
- 启动采集任务（数据准备，含机机接口）
- 启动采集任务（控制节点，含机机接口）
- 启动采集任务（数据节点，console页面）
- 停止采集任务（数据准备，含机机接口）
- 停止采集任务（控制节点，含机机接口）
- 停止采集任务(数据节点console页面)
- 删除采集任务（数据准备，含机机接口）
- 删除采集任务（控制节点，含机机接口）
- 删除采集任务（数据节点，console页面）
- 连通性测试（数据准备，含机机接口）
- 连通性测试（数据准备，控制节点，含机机接口）
- 连通性测试（console，数据节点）
- 连通性测试（console，控制节点）
- 判断VPN是否打通
- 发送邮件
- 查询采集任务列表
- 采集任务发布数据集
- 查询采集任务详情
- 更新采集任务（数据节点）
- 查询采集任务状态列表
- 获取任务采集批次信息
- 获取任务批次采集信息
- 查询采集任务日志
- 删除采集文件记录
- 根据标签查询采集任务（数据准备）
- 查询采集任务状态（数据准备）
- 查询项目OBS信息（数据准备）
- 项目ID与采集任务ID关联（数据准备）
- 项目ID与采集任务ID取消关联（数据准备）
- 下载采集数据记录
- 查询kafkatopic信息
- 上传kafka证书
- 查询国家或者城市编码
- 根据协议类型获取协议类别列表
- 根据协议和采集机ID获取对应的探针包信息
- 根据采集机ID获取所有探针包信息
- 获取探针自定义参数
- 管理本地上传任务
- 数据接入备份恢复
- 采集机相关接口（机机接口）
- 订购数据服务相关接口
- 管理用户信息
- 施工数据相关接口
- 网图服务相关接口
- 数据解析
- 数据备份
- 数据恢复
- 数据准备
- 公共参数
- 修订记录
- 常见问题
- 产品术语
-
数据集服务
- 文档导读
- 产品介绍
- 快速入门
- 用户指南
-
API参考
- 使用前必读
- 接口简介
- 环境准备
- 接口使用方法
- 数据集服务订购接口
- 数据集发布接口
- 目录管理接口
- 数据集管理接口
- 数据集可视授权接口
-
订阅和审批接口
- 查询数据集订阅类型
- 申请订阅单个数据集
- 查询已经订阅的数据集
- 将需要订阅的数据集加入购物车
- 删除加入购物车的内容
- 查询加入购物车的内容
- 申请人员查看申请信息
- 查看具体的申请内容
- 添加审批人员信息
- 查看审批人员信息
- 删除审批人员信息
- 审批人员查看待审批或者已经审批的申请信息
- 审批人员审批申请信息
- 查询订购用户信息
- 查询用户订阅并下载成功的数据集信息
- 根据数据集ID查询用户订阅成功数据集详情信息
- 查看给定数据集的订阅情况
- 撤销未审批完成的订单
- 获取用户订阅申请状态
- 自动订阅数据集
- 查询自动订阅的数据集的下载状态
- 批量申请订阅数据集
- 数据集订阅到期续订和确认销毁
- 数据集订阅到期续订
- 重复提交校验
- 订阅付费数据集
- 根据ID订阅付费数据集
- 数据集下载接口
- 计量统计接口
- 用户信息管理接口
- 通知接口
- 标签接口
- 数据集评论接口
- 网图服务数据集查询接口
- 数据集服务备份恢复接口
- 数据资产账本接口
- 公共参数
- 修订记录
- 常见问题
- 产品术语
- 数据生成服务
- 模型训练服务
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功！
新增作业（通用编辑器）
数据处理提供python脚本处理OBS数据的能力。用户可以根据实际情况本地上传数据文件，或者使用已有OBS数据，编写python处理脚本、scala或java jar包，处理数据。
操作步骤
- 在数据服务左侧导航，选择“工具箱>数据开发>数据处理”。
- 在“任务管理”界面，单击“新增作业”。
- 配置信息，参数说明见表1。
- 单击“下一步”。
- 在左侧单击“软件目录”页签，展示代码文件存放目录。
- 软件目录：代码文件存放目录。
- 数据目录：数据文件存放目录。
：新建文件夹。
：刷新左侧目录树。
：删除选中的目录或文件。
- （可选）单击左侧目录中的“main.py”、"py_main.py"、"sdk_main.py"文件，界面右侧展示文件内容。
查看已有样例代码内容。
- 单击
，自行上传编译好的Scala或者JAVA代码jar包；或者单击
，自行在新增的脚本界面上编辑代码。 - 脚本编辑完成后，在键盘上按“Ctrl+s”，或者鼠标右键，单击“保存”。
- 在左侧下方“配置信息”区域，配置参数。
- 普通python作业运行参数配置，参数说明见表2。
表2 普通python作业运行参数说明 参数
说明
执行引擎
选择AI引擎和对应的Python语言版本，根据实际情况配置。
- 样例1：选择PyTorch，根据实际情况配置对应的Python语言版本，例如：PyTorch-1.3.0-python3.7。
- 样例2：选择TensorFlow，根据实际情况配置对应的Python语言版本，例如：TF-1.3.1-python3.7。
- 样例3：选择XGBoost-Sklearn，根据实际情况配置对应的Python语言版本，例如：XGBoost-0.80-Sklearn-0.1.8.1-python2.7。
启动文件
单击右侧“选择”，在弹出的对话框中，选择需要执行的文件。
规格
选择执行作业的CPU和GPU配置。
支持使用租户订购的ModelArts专属资源池。
计算节点规格
单节点运行。目前不支持修改。
运行参数
Python脚本中设置的运行参数，可以在这里赋值。
- 普通python作业运行参数配置，参数说明见表2。
- 单击“保存配置”，在“提示”对话框单击“确定”，保存运行配置。
- 单击“提交运行”，开始执行作业。
- （可选）在任务管理界面，支持如下操作。
- 支持按作业运行状态展示作业。例如，单击“成功”，任务列表仅展示“作业运行状态”值为“成功”的作业。
- 查看作业信息：在需要查看的作业对应的“操作”列下，单击
。 - 运行/停止作业：在需要运行/停止的作业对应的“操作”列下，单击
/
。 - 运行后数据的处理：在需要数据处理的任务对应的“操作”列下，单击
，在下拉列表中选择对应功能处理数据。 - 删除作业：在需要删除的作业对应的“操作”列下，单击
>
。 - 发布运行成功的数据为数据集：在需要发布的作业对应的“操作”列下，单击
>
。
父主题： 管理新增作业
