在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传

查看更多 →

态分档位后，在PTA模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分档以及max_num_seqs参数，避免档位过大导致图编译错误。 在MoE模型上推荐使用图模式部署，包括mix

查看更多 →

设置动态分档位后，在PTA模式下不支持接收超过最大档的并发请求，超过后会导致推理服务终止。请将最大档（PTA_TORCHAIR_DECODE_GEAR_LIST参数的中设置的最大值）与模型启动时的max-num-seqs保持一致来进行规避。 在MoE模型上推荐使用图模式部署，包括mix

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在Centos上安装软件提示网络故障 问题现象 在Centos上安装软件，提示“网络不可达”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和yum源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。 处理方法

查看更多 →

在Ubuntu上安装软件提示网络故障 问题现象 在Ubuntu上安装软件，提示“time out”。 原因分析 由于目标主机网络连接超时，使用官方镜像源下载软件包失败。 可能导致网络连接超时的原因： 目标主机和apt源网络不通。 防火墙限制出方向的访问。 安全组出方向规则策略限制。

查看更多 →

在CCE中实现应用高可用部署 基本原则 在CCE中，容器部署要实现高可用，可参考如下几点： 集群选择3个控制节点的高可用模式。 创建节点选择在不同的可用区，在多个可用区（AZ）多个节点的情况下，根据自身业务需求合理的配置自定义调度策略，可达到资源分配的最大化。 创建多个节点池，不

查看更多 →