tensorflow训练自己的数据_本地IDE操作流程-华为云

本地IDE操作流程

创建训练作业大于500MB数据量请先上传到OBS中，从OBS上传到云硬盘EVS。将调试好的训练脚本和用于训练的数据集上传至OBS目录。提交训练作业。提交训练作业方式如下：在本地IDE中提交训练作业可以通过调用ModelArts提供的SDK，创建训练作业，上云训练，调用S

来自：帮助中心

查看更多 →
查询作业引擎规格

engine_name String 训练作业的引擎名称。 engine_version String 训练作业使用的引擎版本。请求示例如下以查看训练作业的资引擎规格为例。 GET https://endpoint/v1/{project_id}/job/ai-engines?job_type=train

来自：帮助中心

查看更多 →
模板管理

相对于仅能使用固定类型的模型类型TensorFlow，模板部署模型包的方式仅可以满足定制化的需求。比如：使用Java的Case；KPI异常检测Case定制启动的命令或提供多个推理服务调用接口。模板管理界面说明 “模板管理”界面以列表的形式，展示了当前租户下面已创建成功的模板列表和模板详细信息，如图1所示。

来自：帮助中心

查看更多 →
预训练数据处理

tokenizer的存放路径 -workers：设置数据处理使用执行卡数量 -log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出 seq-length：是一个用于计算序列长度的函数。它接收一个序

来自：帮助中心

查看更多 →
训练基础镜像详情（Horovod）

训练基础镜像详情（Horovod）介绍预置的Horovod镜像详情。引擎版本一：horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 镜像地址：swr.{region}.myhuaweicloud

来自：帮助中心

查看更多 →
创建算法

根据实际代码中的训练输出参数定义此处的名称。此处设置的代码路径参数必须与算法代码中解析的训练输出参数保持一致，否则您的算法代码无法获取正确的输出路径。例如，算法代码中使用argparse解析的train_url作为训练输出数据的参数，那么创建算法时就需要配置输出数据的参数名称为“train_url”。

来自：帮助中心

查看更多 →
模型调试

String 来源训练作业的版本，模型是从训练作业产生的可填写，用于溯源；如模型是从第三方元模型导入，则为空，默认值为空。 source_type 否 String 模型来源的类型，当前仅可取值auto，用于区分通过自动学习部署过来的模型（不提供模型下载功能）；用户通过训练作业部署的模型不设置此值。默认值为空。

来自：帮助中心

查看更多 →
创建超参搜索作业

在0代码修改的基础下，实现算法模型的超参搜索。需要完成以下步骤：准备工作创建算法创建训练作业查看超参搜索作业详情准备工作数据已完成准备：已在ModelArts中创建可用的数据集，或者您已将用于训练的数据集上传至OBS目录。请准备好训练脚本，并上传至OBS目录。训练脚本开发指导参见开发自定义脚本。

来自：帮助中心

查看更多 →
训练基础镜像详情介绍

训练基础镜像详情介绍训练基础镜像列表训练基础镜像详情（PyTorch）训练基础镜像详情（TensorFlow）训练基础镜像详情（Horovod）训练基础镜像详情（MPI）预置框架启动流程说明父主题：使用预置镜像

来自：帮助中心

查看更多 →
查询训练作业详情

String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。表3 data_source属性列表参数参数类型描述 dataset_id String 训练作业的数据集ID。 dataset_version

来自：帮助中心

查看更多 →
Notebook基础镜像ARM TenSorFlow

15-cann5.1.0-py3.7-euler2.8.3 表2 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3镜像介绍 AI引擎框架是否使用昇腾（CANN版本） URL 包含的依赖项 Tensorflow 1.15 是（CANN 5.1） swr.{region-id}

来自：帮助中心

查看更多 →
以PyTorch框架创建训练作业（新版训练）

调用查询训练作业详情接口使用刚创建的训练作业返回的id查询训练作业状态。调用查询训练作业指定任务的日志（OBS链接）接口获取训练作业日志的对应的obs路径。调用查询训练作业指定任务的运行指标接口查看训练作业的运行指标详情。当训练作业使用完成或不再需要时，调用删除训练作业接口删除训练作业。前提条件

来自：帮助中心

查看更多 →
概要

本章节主要讲解如何在CodeArts IDE Online中使用TensorFlow和Jupyter Notebook完成神经网络模型的训练，并利用该模型完成简单的图像分类。父主题：基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型

来自：帮助中心

查看更多 →
开发自定义脚本

完成参数解析后，用户使用“data_url”、“train_url”代替算法中数据来源和数据输出所需的路径。在创建训练作业时，填写输入路径和输出路径。训练输入选择对应的OBS路径或者数据集路径；训练输出选择对应的OBS路径。训练代码正文和保存模型训练代码正文和保存模型涉及的代码与您使用的AI引擎密切相关，以下

来自：帮助中心

查看更多 →
功能介绍

功能介绍数据集模型训练服务统一的数据集管理菜单，可本地导入10G以内大数据文件，或对接数据集服务，导入已订阅的数据集。且支持在线查看代码、图片、音视频等多种格式的文件内容。特征工程特征工程是模型训练的必要过程，可以实现数据集的特征组合、筛选和转换，最大限度的从数据集中提取关键特征，供模型训练使用。

来自：帮助中心

查看更多 →
如何提升训练效率，同时减少与OBS的交互？

的交互。可通过如下方式进行调整优化。优化原理对于ModelArts提供的GPU资源池，每个训练节点会挂载500GB的NVMe类型SSD提供给用户免费使用。此SSD挂载到“/cache”目录，“/cache”目录下的数据生命周期与训练作业生命周期相同，当训练作业运行结束以后“/

来自：帮助中心

查看更多 →
取得正在训练的模组

请联系客服人员检查您账号的当前状态。响应状态码: 404 请求的内容未找到：请检查请求的路径。响应状态码: 500 业务失败：请依次确认您请求中各参数的取值。错误码无。报文样例场景描述：取得正在训练的模组请求头: x-app-key:***************

来自：帮助中心

查看更多 →
Standard模型训练

Standard模型训练使用AI Gallery的订阅算法实现花卉识别使用ModelArts Standard自定义算法实现手写数字识别示例：从0到1制作自定义镜像并用于训练（PyTorch+CPU/GPU）示例：从0到1制作自定义镜像并用于训练（MPI+CPU/GPU）

来自：帮助中心

查看更多 →
管理AI应用简介

AI开发和调优往往需要大量的迭代和调试，数据集、训练代码或参数的变化都可能会影响模型的质量，如不能统一管理开发流程元数据，可能会出现无法重现最优模型的现象。 ModelArts的AI应用可导入所有训练生成的元模型、上传至对象存储服务（OBS）中的元模型和容器镜像中的元模型，可对所有迭代和调试的AI应用进行统一管理。

来自：帮助中心

查看更多 →
ModelArts SDK、OBS SDK和MoXing的区别？

thon语言的ModelArts SDK接口。详细指导文档：《ModelArts SDK参考》 OBS SDK OBS服务提供的SDK，对OBS进行操作。由于ModelArts较多功能需使用OBS中存储的数据，用户可使用OBS SDK进行调用，使用OBS存储您的数据。 OBS提

来自：帮助中心

查看更多 →
功能咨询

功能咨询是否支持图像分割任务的训练？本地导入的算法有哪些格式要求？欠拟合的解决方法有哪些？旧版训练迁移至新版训练需要注意哪些问题？ ModelArts训练好后的模型如何获取？ AI引擎Scikit_Learn0.18.1的运行环境怎么设置？ TPE算法优化的超参数必须是分类特征（categorical

来自：帮助中心

查看更多 →