中软国际数据治理专业服务解决方案实践

在旧版体验式开发模式下，模型训练服务支持的特征操作有重命名、归一化、数值化、标准化、特征离散化、One-hot编码、数据变换、删除列、选择特征、卡方检验、信息熵、新增特征、PCA。对应JupyterLab交互式开发模式，是界面右上角的图标中的“数据处理”菜单下面的数据处理算子。 模型包

查看更多 →

训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： 训练作业

查看更多 →

ment.idx文件。 图1 处理后的数据 自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。 #示例： #1.将准备好的json格式数据集存放于/home/ma-user/ws/training_data目录下:

查看更多 →

是一个用于设置序列长度的参数，表示模型处理的序列长度。在训练大规模模型时，可以通过设置这个参数来优化模型的训练速度和效果。 数据预处理后输出的训练数据如下： alpaca_text_document.bin alpaca_text_document.idx 训练的时指定的数据路径为${pa

查看更多 →

进入刚刚创建的OBS桶页面，创建文件夹data和img，并将basicClass.py上传。 进入data文件夹，将刚刚下载的四个gz文件上传。 机器学习范例 本篇范例采用tensorflow官网的ml example，可参考https://www.tensorflow.org/t

查看更多 →

ok，开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如下图所示。 图1 使用JupyterLab在线开发调试代码 创建Notebook实例。 在ModelArts控制台创建一个Notebook开发环境实例，选择要使用的AI框架。具体参见创建Notebook实例。

查看更多 →

Found secret key 原因分析 这是TensorFlow-1.8中会出现的情况，该日志是Info级别的，并不是错误信息，可以通过设置环境变量来屏蔽INFO级别的日志信息。环境变量的设置一定要在import tensorflow或者import moxing之前。 处理方法

查看更多 →

ModelArts镜像管理简介 在AI业务开发以及运行的过程中，一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题，在ModelArts的AI开发最佳实践中，通过容器镜像的方式，将运行环境进行固化，以这种方式不仅能够进行依赖管理，而且可以方便的完成工作环境切换。

查看更多 →

怎么查看自己的企业账号名 登录解决方案工作台后，点击页面左上角的头像按钮，即可查看个人信息，个人信息里有企业账号名信息。 图1 查看基本信息 父主题： 其他

查看更多 →

基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型 概要 准备工作 导入和预处理训练数据集 创建和训练模型 使用模型

查看更多 →

读取文件报错，如何正确读取文件？ TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 训练作业日志中提示“No such file

查看更多 →

。不建议使用TensorFlow、MXNet、PyTorch的OBS接口直接从OBS上读取数据。 如果文件较小，可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录，解压以后使用。 如果文件较大，可以保存成多个“.tar”包，在入口脚本中调用多

查看更多 →

kenizer的存放路径 -workers：设置数据处理使用执行卡数量 -append-eod：参数用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列的结束，可以帮助模型更好地理解和处理长序列。 seq-length：是一个用于计算序列长度的函数。它接收一个

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

是否支持Keras引擎？ 开发环境中的Notebook支持。训练作业和模型部署（即推理）暂时不支持。 Keras是一个用Python编写的高级神经网络API，它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本

查看更多 →

暂不支持导入ModelArts中“自动学习”训练的模型。 华为HiLens 只能导入ModelArts中训练的模型文件，不能导入ModelArts的模型。 本地训练模型 导入自定义模型前，需要将自定义的模型上传到OBS服务，非“.om”格式的模型上传文件包含caffe模型文件“.caffemodel”和“

查看更多 →

tokenizer的存放路径 -workers：设置数据处理使用执行卡数量 -log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出 seq-length：是一个用于计算序列长度的函数。它接收一个序

查看更多 →

暂不支持导入ModelArts中“自动学习”训练的模型。 华为HiLens 只能导入ModelArts中训练的模型文件，不能导入ModelArts的模型。 本地训练模型 导入自定义模型前，需要将自定义的模型上传到OBS服务，非“.om”格式的模型上传文件包含caffe模型文件“.caffemodel”和“

查看更多 →

如何关闭Mox的warmup 问题现象 训练作业mox的Tensorflow版本在运行的时候，会先执行“50steps” 4次，然后才会开始正式运行。 warmup即先用一个小的学习率训练几个epoch（warmup），由于网络的参数是随机初始化的，如果一开始就采用较大的学习率会出现数值不稳定的问题，这是使用warm

查看更多 →

的进程退出码，判断训练作业是否结束。 通过task name判断的哪个节点是worker。下发的训练作业是一个volcano job，里边会有两个task：一个是ps、一个是worker。两个task的启动命令不同，会自动生成超参--task_name，ps的--task_name=ps，worker的

查看更多 →

创建训练作业大于500MB数据量请先上传到OBS中，从OBS上传到云硬盘EVS。 将调试好的训练脚本和用于训练的数据集上传至OBS目录。 提交训练作业。提交训练作业方式如下： 在本地IDE中提交训练作业 可以通过调用ModelArts提供的SDK，创建训练作业，上云训练，调用S

查看更多 →