ELB后端 服务器 权重检查 规则详情 表1 规则详情 参数 说明 规则名称 elb-members-weight-check 规则展示名 ELB后端服务器权重检查 规则描述 后端服务器的权重为0，且其所属的后端服务器组的负载均衡算法不为“SOURCE_IP”时，视为“不合规”。 标签

查看更多 →

复制和迁移SLB实例配置信息 导出SLB实例的所有信息并在新增实例配置页面快速导入，可以实现配置信息的复制和迁移。 前提条件 需要具备AppStage服务运维岗位权限，权限申请操作请参见AppStage组织成员申请权限。 导出所有信息 导出SLB实例的所有信息，包括SLB节点信息、nginx

查看更多 →

HuggingFace权重转换操作 下载baichuan2-13b的预训练权重和词表文件，并上传到/home/ma-user/ws/tokenizers/baichuan2-13b-hf目录下。具体下载地址请参见表1。如果已下载，忽略此步骤。 创建权重转换后的输出目录/home/m

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

SLB同步检查不一致 问题描述 SLB同步检查不一致。 可能原因 为SLB工作台上配置的内容与SLB服务器里面配置的内容不一致导致，有以下可能原因： 同步异常，配置没有从界面上同步到后端配置文件里。 没有通过工作台进行配置文件修改，业务直接在SLB实例主机修改后端配置文件。 升级的过程中存在问题导致前后配置内容异同。

查看更多 →

ing”。 配置SLB节点信息。 自管理模式的SLB实例需要配置节点信息。 在实例列表中单击实例名称，进入实例详情页面。 选择“SLB节点信息”页签，单击“编辑”。 单击“新增节点”，配置IP和主机名。 IP为SLB所部署的服务器的私网地址。 自管理模式模式SLB，在Appsta

查看更多 →

Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。

查看更多 →

配置ELB 当监听关联的SLB实例为自管理节点模式时，不支持通过SLB管理台配置ELB，需要在运维中心ENS管理台进行配置，具体请参考管理ELB。 当监听关联的SLB实例为平台托管模式时，支持通过SLB管理台绑定ELB，配置后可进行ELB的操作。本文介绍如何通过SLB管理台绑定ELB。

查看更多 →

DDoS高防支持权重回源吗？ DDoS高防按照轮询机制回源，目前不支持按权重回源。您可以将高防回源到ELB公网IP，然后在ELB上使用按权重回源给E CS 。 父主题： 产品咨询

查看更多 →

install_slb_failed for /opt/huawei/openresty exists not for slb 问题现象 SLB部署失败，日志详细信息提示如下： "install_slb_failed for /opt/huawei/openresty exists

查看更多 →

详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools

查看更多 →

_test/SLB/ 问题现象 SLB部署失败，日志详细信息提示如下： [Errno 13] Permission denied: '/opt/huawei/release/lf_test/SLB/' 解决方法 登录SLB实例机器，执行命令chown slb:slb /opt/h

查看更多 →

取值为or或and RouteType为SLB时必选，不为SLB时无效。 rules 否 RouteType为SLB时必选，不为SLB时无效。 groupRelation 否 取值为or或and RouteType不为SLB时必选，为SLB时无效。 userExtendedParameter

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

fail to operator sudo, message: send request fail, status code: 400, task: control sudo permission, status: failed 问题现象 SLB部署失败，日志详细信息提示如下： fail

查看更多 →

AB类均匀权重（Average）评分方案 该方案同样分为AB两类指标，其中A类总分为60分，B类总分为40分，A类指标按均匀权重扣分，B类指标同样按均匀权重扣分。 AB类均匀权重评分原则（Principle） A类60分，各A类指标得分权重相同。 B类40分，各B类指标得分权重相同。

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →