创建委托 在安装AAS的过程中，SAP应用弹性伸缩程序依赖华为云上的服务，我们采用委托的方式获取授权访问这些服务。需要提前创建委托，发放AAS 云服务器 的时候，将会自动将委托指派给云 服务器 。 操作步骤 创建委托的方式如下： 登录公有云管理控制台。 在公有云管理控制台首页上，选择“服务列表

查看更多 →

在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备模型代码包和权重文件 将OBS中的

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.s

查看更多 →

设置动态分档位后，在PTA模式下不支持接收超过最大档的并发请求，超过后会导致推理服务终止。请将最大档（PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值）与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型和小模型上推荐使用图模式部署，包括m

查看更多 →

档位后，在PTA模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分档以及max_num_seqs参数，避免档位过大导致图编译错误。 在MoE模型和小模型上推荐使用图模式部署，包括m

查看更多 →

在CCE中实现应用高可用部署 基本原则 在CCE中，容器部署要实现高可用，可参考如下几点： 集群选择3个控制节点的高可用模式。 创建节点选择在不同的可用区，在多个可用区（AZ）多个节点的情况下，根据自身业务需求合理的配置自定义调度策略，可达到资源分配的最大化。 创建多个节点池，不

查看更多 →

态分档位后，在PTA模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分档以及max_num_seqs参数，避免档位过大导致图编译错误。 在MoE模型上推荐使用图模式部署，包括mix

查看更多 →

设置动态分档位后，在PTA模式下不支持接收超过最大档的并发请求，超过后会导致推理服务终止。请将最大档（PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值）与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型上推荐使用图模式部署，包括mix

查看更多 →

在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传

查看更多 →

如果您已开通企业项目，将不支持创建IAM项目。 创建项目 在IAM控制台的左侧导航窗格中，选择“项目”页签，单击“创建项目”。 图2 创建项目 在“所属区域”下拉列表中选择需要创建子项目的区域。 输入“项目名称”。 项目名称的格式为：区域默认项目名称_子项目名称，区域默认项目名称不允许修改。 项目名称可以由字

查看更多 →

和管理。在创建、查询、设置内网 域名 和反向解析前，用户需先指定区域和项目，然后在指定项目下执行相关操作。 父主题： 基本概念

查看更多 →

项目配置 获取项目级别全局配置 父主题： API

查看更多 →

如果一个域名有多个服务器，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在CentOS 7操作系统中的Nginx 1.7.8服务器上安装私有证书的流程如下所示： ①获取文件

查看更多 →

如果一个域名有多个服务器，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在CentOS 7操作系统中的Apache 2.4.6服务器上安装私有证书的流程如下所示：

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →