string："false"。 故障分析 根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。 根据上一步字段映射分析，其中"support_gpu_instancing"字段源端为TINYI

查看更多 →

字段名 必填 类型 范围 备注 id 告警定义ID 是 String 1~128 告警ID，由数字、字母、下划线组成。 name 告警名称 是 String 1~128 固定格式，能明确表示告警的类型等信息。 level 告警级别 是 String 枚举 致命critical、严重m

查看更多 →

String 内存大小，单位兆：MB。 is_gpu Boolean 是否是GPU类型的规格。 system_disk_type String 系统盘类型。 system_disk_size String 系统盘大小。 gpu_desc String GPU描述。 descriptions String

查看更多 →

推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理 服务器 ，否则可能无法访问网站。 在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable

查看更多 →

GB时，至少需要2张卡运行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。 测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至

查看更多 →

ptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model.save_pretrained

查看更多 →

ptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model.save_pretrained

查看更多 →

ptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model.save_pretrained

查看更多 →

GB时，至少需要2张卡运行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。 测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至

查看更多 →

模型选择微调方式。 当“训练任务类型”是“文本问答”或“文本生成”时，AI Gallery支持的微调方式是LoRA。 当“训练任务类型”是“自定义”时，微调方式来自于模型文件“train_params.json” 。 低秩适应（LoRA）是一种重参数化方法，旨在减少具有低秩表示的

查看更多 →

最大带宽是实例维度的，即实例如果有多张网卡，所有网卡的最大带宽之和不超过实例的最大带宽。 网卡即弹性网卡，是一种虚拟网卡，您可以通过创建并配置弹性网卡，并将其附加到您的 云服务器 上，实现灵活、高可用的网络方案配置。 详细内容，请参见弹性网卡。 辅助网卡即辅助弹性网卡，是一种基于弹

查看更多 →

在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“计算节点个数”。 如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。您可以根据实际需求进行选择。

查看更多 →

下拉列表选择架构信息。 设置“容器规格”。 根据实际情况配置CPU、内存、GPU、NPU的申请配额及限制配额。 单击“下一步”，进行部署配置。 设置“重启策略”，单击“提交”，完成版本的添加。 总是重启：当应用退出时，无论是正常退出还是异常退出，系统都会重新启动应用。 失败时重启：当应用异常退出时，系统会重新启动应用。

查看更多 →

在Chrome浏览器中输入“chrome://gpu”后，搜索“coding”。可以检查当前PC的浏览器是否支持H265（HEVC）视频解码。 图2 查看浏览器配置 用ffmpeg检查视频的编码是否是H265（HEVC），输入命令：ffmpeg -i 视频文件名。 图3 检查视频是否是hevc编码 需要先安装ffmpeg，安装方法如下。

查看更多 →

/v1/{project_id}/models/ai-engine-runtimes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String

查看更多 →

/v1/{project_id}/images/{id} 表1 路径参数 参数 是否必选 参数类型 描述 id 是 String 镜像ID。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数

查看更多 →

json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"fl

查看更多 →

“指定节点”和“指定可用区”本质也是通过标签实现，只是通过控制台提供了更为便捷的操作，无需手动填写节点标签和标签值。指定节点使用的是 kubernetes.io/hostname 标签，指定可用区使用的是 failure-domain.beta.kubernetes.io/zone 标签。 表3 节点亲和性调度策略设置参数说明

查看更多 →

路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 nodepool_name 是 String 节点池名称。 表2 Query参数 参数 是否必选

查看更多 →

检查使用的资源是否为CPU，CPU的“/cache”与代码目录共用10G，可能是空间不足导致，可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足，请执行5。 磁盘空间不足，请您使用GPU资源。 如果是在Notebook使用MoXing复制数据不成功，可以在Terminal界面中使用df

查看更多 →

到GPU。 处理方法 根据报错提示，请您排查代码，是否已添加以下配置，设置该程序可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GP

查看更多 →