在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备模型代码包和权重文件 将OBS中的

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.s

查看更多 →

设置动态分档位后，在PTA模式下不支持接收超过最大档的并发请求，超过后会导致推理服务终止。请将最大档（PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值）与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型和小模型上推荐使用图模式部署，包括m

查看更多 →

档位后，在PTA模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分档以及max_num_seqs参数，避免档位过大导致图编译错误。 在MoE模型和小模型上推荐使用图模式部署，包括m

查看更多 →

在CCE中实现应用高可用部署 基本原则 在CCE中，容器部署要实现高可用，可参考如下几点： 集群选择3个控制节点的高可用模式。 创建节点选择在不同的可用区，在多个可用区（AZ）多个节点的情况下，根据自身业务需求合理的配置自定义调度策略，可达到资源分配的最大化。 创建多个节点池，不

查看更多 →

该解决方案帮助您在华为云弹性 云服务器 E CS 上基于开源项目Elasticsearch搭建高可用集群。架构如下图所示： 图1 方案架构 该解决方案会部署如下资源： 单机版 创建一台弹性云 服务器 ECS，用于部署Elasticsearch搜索服务。 创建一台弹性云服务器 ECS，用于部署Kibana数据分析可视化平台。

查看更多 →

创建委托 在安装AAS的过程中，SAP应用弹性伸缩程序依赖华为云上的服务，我们采用委托的方式获取授权访问这些服务。需要提前创建委托，发放AAS云服务器的时候，将会自动将委托指派给云服务器。 操作步骤 创建委托的方式如下： 登录公有云管理控制台。 在公有云管理控制台首页上，选择“服务列表

查看更多 →

态分档位后，在PTA模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分档以及max_num_seqs参数，避免档位过大导致图编译错误。 在MoE模型上推荐使用图模式部署，包括mix

查看更多 →

设置动态分档位后，在PTA模式下不支持接收超过最大档的并发请求，超过后会导致推理服务终止。请将最大档（PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值）与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型上推荐使用图模式部署，包括mix

查看更多 →

在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传

查看更多 →

如果您已开通企业项目，将不支持创建IAM项目。 创建项目 在IAM控制台的左侧导航窗格中，选择“项目”页签，单击“创建项目”。 图2 创建项目 在“所属区域”下拉列表中选择需要创建子项目的区域。 输入“项目名称”。 项目名称的格式为：区域默认项目名称_子项目名称，区域默认项目名称不允许修改。 项目名称可以由字

查看更多 →

和管理。在创建、查询、设置内网 域名 和反向解析前，用户需先指定区域和项目，然后在指定项目下执行相关操作。 父主题： 基本概念

查看更多 →

项目配置 获取项目级别全局配置 父主题： API

查看更多 →

如果一个域名有多个服务器，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在Tomcat7服务器上安装私有证书的流程如下所示： ①获取文件 → ②创建目录 → ③修改配置文件 → ④重启Tomcat

查看更多 →

在IIS服务器上安装私有证书 本章节介绍如何将私有证书安装到IIS服务器。 由于服务器系统版本或服务器环境配置不同，在安装私有证书过程中使用的命令或修改的配置文件信息可能会略有不同， 云证书管理服务 提供的安装证书示例，仅供参考，请以您的实际情况为准。 如果参考文档安装证书后，HTT

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →