推理基础镜像详情TensorFlow（CPU/GPU） ModelArts提供了以下TensorFlow（CPU/GPU）推理基础镜像： 引擎版本一：tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 引擎版本二： tensorflow_1

查看更多 →

maybe_download(TRAIN_IMAGES, train_dir) train_images = extract_images(local_file) local_file = maybe_download(TRAIN_LABELS, train_dir)

查看更多 →

Tensorflow ModelArts训练服务支持了多种AI框架，并对不同的引擎提供了针对性适配，用户在使用这些框架进行模型训练时，训练的启动命令也需要做相应适配。本文介绍了Tensorflow框架启动原理、控制台上创建训练任务时后台对应的启动命令。 Tensorflow框架启动原理

查看更多 →

支持NVIDIA Tesla P4 GPU卡，单实例最大支持4张P4 GPU卡。 提供GPU硬件直通能力。 单GPU单精度计算能力最高5.5 TFLOPS。 单GPU INT8计算能力最高22 TOPS。 单GPU提供8GiB ECC显存，带宽192GiB/s。 GPU内置硬件视频编解码引擎，

查看更多 →

训练业务代码适配昇腾PyTorch代码适配 前提条件 要迁移的训练任务代码在GPU上多次训练稳定可收敛。训练业务代码和数据，应该确保在GPU环境中能够运行，并且训练任务有稳定的收敛效果。 本文只针对基于PyTorch的训练脚本迁移。这里假设用户使用的是基于PyTorch的训练代码进行迁

查看更多 →

PU利用率。 GPU虚拟化的优势 U CS On Premises提供的GPU虚拟化功能优势如下： 灵活：精细配置GPU算力占比及显存大小，算力分配粒度为5%GPU，显存分配粒度达MB级别。 隔离：支持显存和算力的严格隔离，支持单显存隔离，算力与显存同时隔离两类场景。 兼容：业务无

查看更多 →

com/gpu配额时等价于开启虚拟化GPU显存隔离，可以和显存隔离模式的工作负载共用一张GPU卡，但不支持和算显隔离模式负载共用一张GPU卡。同时，还需遵循GPU虚拟化的其他约束与限制。 未开启该兼容能力时，在工作负载中声明nvidia.com/gpu配额仅影响调度结果，并不会有显存隔离的限制。即虽然配置nvidia

查看更多 →

tf-mnist.yaml 使用GPU训练 TFJob可在GPU场景下进行，该场景需要集群中包含GPU节点，并安装合适的驱动。 在TFJob中指定GPU资源。 创建tf-gpu.yaml文件，示例如下： 该示例的主要功能是基于Tensorflow的分布式架构，利用卷积神经网络（C

查看更多 →

执行cat /proc/xgpu/{GPU卡序号}/meminfo，注意替换命令中的{GPU卡序号}为步骤2获取的GPU卡序号，观测GPU虚拟化的可用显存。 比较步骤2和步骤3的可用显存。 由于GPU厂商的驱动程序，本身就会占用一定量的物理显存，量级在300MB左右，这属于正常现象。例如Tesla

查看更多 →

tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 model =

查看更多 →

GPU卡 GPU时钟频率 cce_gpu_memory_clock GPU卡 GPU显存频率 cce_gpu_graphics_clock GPU卡 GPU图形处理器频率 cce_gpu_video_clock GPU卡 GPU视频处理器频率 物理状态数据 cce_gpu_temperature

查看更多 →

cce_gpu_memory_utilization Gauge GPU卡显存使用率 cce_gpu_memory_used Gauge GPU显存使用量 cce_gpu_memory_total Gauge GPU显存总量 cce_gpu_memory_free Gauge GPU显存空闲量

查看更多 →

开启该兼容能力后，在工作负载中声明nvidia.com/gpu配额（即配置nvidia.com/gpu为小数，例如0.5）时将通过虚拟化GPU提供，实现GPU显存隔离，按照设定值的百分比为容器分配GPU显存（例如分配0.5×16GiB=8GiB的GPU显存，该数值需为128MiB的整数倍否则会自

查看更多 →

务获得算力和显存。 表1 影响XGPU服务的环境变量 环境变量名称 取值类型 说明 示例 GPU_IDX Integer 指定容器可使用的GPU显卡。 为容器分第一张显卡： GPU_IDX=0 GPU_CONTAINER_MEM Integer 设置容器内可使用的显存大小，单位 MiB。

查看更多 →

就是一个相对GPU来说较多的内存申请。 显存优化策略 由于大模型的参数成倍数的增长，远超出了单GPU物理显存所能承载的范围，大模型训练必然需要进行显存优化。显存优化要么是优化算法本身，降低模型算法的显存消耗；要么是去扩大显存，通过一些置换方式获得“额外“空间，由于显存物理大小一定

查看更多 →

节点-XGPU设备显存分配量 字节 每个节点上的GPU虚拟化设备显存总量 GPU卡-XGPU设备显存使用率 百分比 每张GPU卡上的GPU虚拟化设备显存使用率 计算公式：显卡上所有XGPU设备的显存使用量之和 / 显卡显存总量 GPU卡-XGPU设备显存分配量 字节 每张GPU卡上的GPU虚拟化设备的显存总量

查看更多 →

15.0-gpu ADD gpu-demo /home/project/gpu-demo 其中ADD将gpu-demo工程拷贝到镜像的/home/project目录下，可以根据自己需要修改。 执行docker build -t tensorflow/tensorflow:v1 . 命令制作镜像（

查看更多 →

千字节/秒（kB/s） GPU aom_node_gpu_memory_free_megabytes gpuMemCapacity 显存容量 该指标用于统计测量对象的显存容量。 ≥0 兆字节（MB） aom_node_gpu_memory_usage gpuMemUsage 显存使用率 该指

查看更多 →

应用GPU资源调度方式 IEF支持多应用共享的方式使用GPU显卡。 IEF支持单个应用使用多个GPU显卡。 GPU资源调度基于GPU显存容量，调度采用GPU显存预分配方式而非实时GPU显存资源。 当应用需要使用的GPU显存资源小于单个GPU卡显存时，支持以共享方式进行资源调度，对

查看更多 →

init容器不支持使用GPU虚拟化资源。 GPU虚拟化支持显存隔离、显存与算力隔离两种隔离模式。单个GPU卡仅支持调度同一种隔离模式的工作负载。 使用GPU虚拟化后，不支持使用Autoscaler插件自动扩缩容GPU虚拟化节点。 XGPU服务的隔离功能不支持以UVM的方式申请显存，即调用CUDA

查看更多 →

X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 URI 2.1.0 CPU GPU(cuda10.1) swr.{region_id}.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2

查看更多 →