对tensor中的每个元素做倒数运算 1 / x，支持的类型：float16，float32。int8，uint8，int32类型会被转换为float16。该接口在elewise_compute.py中定义。raw_tensor：输入tensor，tvm.tensor类型。res_tensor：表示1 / raw_tensor，tvm.t

查看更多 →

运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供：

查看更多 →

在Notebook中添加自定义IPython Kernel 使用场景 当前Notebook默认内置的引擎环境不能满足用户诉求，用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1.2.0”的IPython Kernel为例进行展示。

查看更多 →

TensorBoard是一个可视化工具，能够有效地展示TensorFlow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息。TensorBoard当前只支持基于TensorFlow引擎的训练作业。同一个用户的多个项目，创建Tensorboard任务数不能超过

查看更多 →

为“.om”格式。 确认上传的模型文件是否正确 导入自定义模型前，需要将自定义的模型上传到OBS服务，非“.om”格式的模型上传文件包含caffe模型文件“.caffemodel”和“.prototxt”和配置文件“.cfg”，或tensorflow的“.pb”模型文件和配置文件“

查看更多 →

是否支持Keras引擎？ 开发环境中的Notebook支持。训练作业和模型部署（即推理）暂时不支持。 Keras是一个用Python编写的高级神经网络API，它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本

查看更多 →

管理OBS中的数据 在KooCLI中，已经集成了以命令行方式管理OBS数据的工具obsutil的功能。您可以通过使用"hcloud obs"命令，快速管理您在OBS中的数据。 功能概述 您可以使用KooCLI进行如下操作，管理您OBS中的数据： 表1 KooCLI集成OBS功能 功能

查看更多 →

创建OBS桶和文件夹 在OBS服务中创建桶和文件夹，用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示，示例中的桶名称“test-modelarts” 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。

查看更多 →

将raw_tensor中每个元素加上标量scalar，支持的类型：float16，float32。int8，uint8，int32会被转换为float16。如果scalar数据类型与raw_tensor数据类型不一致，计算中会转换为对应数据类型。该接口在elewise_compute.py中定义。raw_tensor：输入tensor，t

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

DLI 中的Spark组件与 MRS 中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。具体请参考《 数据湖探索 用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，

查看更多 →

in loss computation. 图1 分布式Tensorflow无法使用 原因分析 分布式Tensorflow不能使用“tf.variable”要使用“tf.get_variable”。 处理方法 请您将“启动文件”中的“tf.variable”替换为“tf.get_variable”。

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

确认配置已生效：查看日志中的下载地址是否是配置文件中的地址。 确认网络是否连通。 确认PyPI官网是否提供该组件。 确认安装的组件支持当前环境的系统、架构、python版本（可在对应组件的simple页面查看）。 以“pip install tensorflow”为例，tensorflow的sim

查看更多 →

推理基础镜像列表 ModelArts的推理平台提供了一系列的基础镜像，用户可以基于这些基础镜像构建 自定义镜像 ，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 URI 2.1.0 CPU GPU(cuda10

查看更多 →

1-ubuntu18.04 无AI引擎（专用于自定义镜像的基础镜像） conda3-cuda10.2-cudnn7-ubuntu18.04 conda3-ubuntu18.04 表2 ARM预置镜像列表 引擎类型 镜像名称 TensorFlow tensorflow1.15-mindspore1

查看更多 →

训练输出的日志只保留3位有效数字，是否支持更改loss值？ 在训练作业中，训练输出的日志只保留3位有效数字，当loss过小的时候，显示为0.000。具体日志如下： INFO:tensorflow:global_step/sec: 0.382191 INFO:tensorflow:step:

查看更多 →

ModelArts支持哪些AI框架？ ModelArts的开发环境Notebook、训练作业、模型推理（即AI应用管理和部署上线）支持的AI框架及其版本，不同模块的呈现方式存在细微差异，各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，

查看更多 →

创建OBS桶和文件夹 在OBS服务中创建桶和文件夹，用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示，示例中的桶名称“test-modelarts” 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。

查看更多 →

原因分析 这是TensorFlow-1.8中会出现的情况，该日志是Info级别的，并不是错误信息，可以通过设置环境变量来屏蔽INFO级别的日志信息。环境变量的设置一定要在import tensorflow或者import moxing之前。 处理方法 您需要通过在代码中设置环境变量

查看更多 →