训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf

查看更多 →

训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf

查看更多 →

批量E CS 操作 ECS操作为用户提供了管理ECS实例的能力，支持进行批量开机、关机、重启、切换操作系统、重装操作系统等操作。 批量开机 批量关机 批量重启 重装操作系统 切换操作系统 父主题： 资源运维

查看更多 →

ECS.ExtendParam 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 CB_CSBS_BACKUP 否 string CB CSBS BACKUP 取值说明：用户自定义 使用建议：无 imageproductid 否 string 镜像产品ID 取值说明：用户自定义

查看更多 →

ECS.NICS 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 subnetId 是 HuaweiCloud.VPC.Subnet.Id 待创建 云服务器 的网卡信息。 取值说明：需要指定云 服务器 所属虚拟私有云下已创建的子网（subnet）的ID，或通过连线VPC.Subnet来自动生成

查看更多 →

登录Windows ECS Windows ECS登录方式概述 通过控制台VNC登录Windows ECS 通过RDP文件登录Windows ECS 通过本地Windows主机登录Windows ECS 通过本地Linux主机登录Windows ECS 通过本地macOS主机登录Windows

查看更多 →

DDoS高防支持权重回源吗？ DDoS高防按照轮询机制回源，目前不支持按权重回源。您可以将高防回源到ELB公网IP，然后在ELB上使用按权重回源给ECS。 父主题： 产品咨询

查看更多 →

SFT全参微调权重转换 增量训练前需将HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。

查看更多 →

ELB后端服务器权重检查 规则详情 表1 规则详情 参数 说明 规则名称 elb-members-weight-check 规则展示名 ELB后端服务器权重检查 规则描述 后端服务器的权重为0，且其所属的后端服务器组的负载均衡算法不为“SOURCE_IP”时，视为“不合规”。 标签

查看更多 →

部署到ECS 部署流程 部署验证 父主题： 部署插件能力

查看更多 →

ECS.SecurityGroup 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 id 是 HuaweiCloud.VPC.SecurityGroup.Id 云服务器对应的安全组ID，会对创建云服务器中配置的网卡生效 取值说明：指定已有安全组的ID 取值约束：满足UUID规则，最大64位

查看更多 →

启动ECS实例 使用启动ECS实例卡片可以创建任务，用来启动一个或多个ECS实例。 创建启动ECS实例任务 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维（日落）”，即可进入“自动化运维”界面。 在左侧导航栏中选择“服务场景”，在服务场景页面单击“启动ECS实例”卡片，

查看更多 →

关闭ECS实例 使用关闭ECS实例卡片可以创建任务，用来关闭一个或多个ECS实例。 创建关闭ECS实例任务 登录AOM 2.0控制台。 在左侧导航栏单击“自动化运维（日落）”，即可进入“自动化运维”界面。 在左侧导航栏中选择“服务场景”，在服务场景页面单击“关闭ECS实例”卡片，

查看更多 →

登录Linux ECS Linux ECS登录方式概述 通过CloudShell登录Linux ECS 通过VNC登录Linux ECS 通过SSH密钥方式登录Linux ECS 通过SSH密码方式登录Linux ECS 通过macOS主机登录Linux ECS 通过移动设备登录Linux

查看更多 →

Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入vllm代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。

查看更多 →

有2台权重相同的后端服务器，负载均衡器节点会将50%的客户端流量分发到其可用区中的每一台后端服务器。 图2 加权轮询算法流量分发 表1 加权轮询算法说明 概述 加权轮询算法根据组内后端服务器设置的权重，依次将请求分发给不同的服务器。权重大的后端服务器被分配的概率高，相同权重的服务器处理相同数目的连接数。

查看更多 →

SFT全参微调权重转换 支持HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

ECS.MountedVolumes 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 mountPath 是 string 磁盘挂载点，如/dev/sdb，/dev/sdc，/dev/sdd。新增加的磁盘挂载点不能和已有的磁盘挂载点相同。 取值约束：{u'regex':

查看更多 →

ECS.Personality 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 path 是 string 路径 contents 是 string 内容 父主题： 数据结构

查看更多 →

创建VPC和ECS 操作场景 本章节指导用户创建虚拟私有云VPC和 弹性云服务器 ECS。 操作步骤 在区域A内，创建4个VPC和3个ECS。 创建VPC及子网，具体方法请参见创建虚拟私有云和子网。 创建ECS，具体方法请参见购买方式概述。 本示例中的VPC和子网资源规划详情请参见表8。

查看更多 →