_test/SLB/ 问题现象 SLB部署失败，日志详细信息提示如下： [Errno 13] Permission denied: '/opt/huawei/release/lf_test/SLB/' 解决方法 登录SLB实例机器，执行命令chown slb:slb /opt/h

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

修改TaurusDB读写分离权重 开通数据库代理后，您可以根据需要修改读写分离的读权重。读请求会按照读权重分发到各个节点，进行读写分离，降低主节点的负载。 使用须知 仅权重负载的路由模式支持修改读权重。 主节点和只读节点均可以设置读权重。 主节点的读权重值越高，处理的读请求越多，主节点的读权重值默认为0。

查看更多 →

取值为or或and RouteType为SLB时必选，不为SLB时无效。 rules 否 RouteType为SLB时必选，不为SLB时无效。 groupRelation 否 取值为or或and RouteType不为SLB时必选，为SLB时无效。 userExtendedParameter

查看更多 →

vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下：

查看更多 →

详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools代码目录下执行以下脚本：

查看更多 →

在SLB中创建和管理监听 （可选）录入HTTPS监听所需的 服务器 证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题： 配置运行时引擎负载均衡

查看更多 →

单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。 在实例列表中单击待配置实例的名称，进入实例详情页面。 选择“nginx.conf配置”页签，单击“编辑”。 单击“设为默认值”，可以将配置设为默认值。 手工填入配置时，请务必在http块内结尾附近加上include slb_conf/*

查看更多 →

在SLB中配置内网段 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 配置内网段 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。 在实例列表中单击实例名称，进入实例详情页面。

查看更多 →

单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。 在实例列表中单击实例名称，进入实例详情页面。 选择“定制lua配置”页签，查看Lua配置。 Lua信息通过IaC配置，界面仅支持展示，没有定制的点不展示。 父主题： 在SLB中创建和管理负载均衡实例

查看更多 →

页面新增资源、新增流控规则、新增黑白名单及熔断规则，具体介绍请参见在SLB中配置负载均衡OLC服务。 发布流控服务 单击流控服务列表操作列的“发布”，将OLC服务应用到SLB，具体介绍请参见在SLB中发布负载均衡OLC服务。 编辑流控服务 单击流控服务列表操作列的“编辑”，在弹出

查看更多 →

在SLB中创建资源组 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 在SLB中创建资源组 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“资源管理 > 资源组”。

查看更多 →

not all conf included in vhosts or slb_conf 问题现象 SLB部署失败，日志详细信息提示如下： "not all conf included in vhosts or slb_conf" 解决方法 执行如下两条命令。 grep "^[ \t]*include"

查看更多 →

vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下：

查看更多 →

详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools

查看更多 →

fail to operator sudo, message: send request fail, status code: 400, task: control sudo permission, status: failed 问题现象 SLB部署失败，日志详细信息提示如下： fail

查看更多 →

running 问题现象 SLB部署失败，日志详细信息提示如下： "watchdog still running" 排查定位 登录SLB实例主机，并执行命令ps -ef | grep watchdog，查看watchdog进程是否是root用户拉起的。 解决方法 在SLB实例主机，执行命令kill

查看更多 →

头的字符串，并在服务里准备同名转发策略，配置好响应。 为空时默认使用SLB设置的状态码403。 根据需要开启白名单列表及黑名单列表开关，关闭时规则不生效。 单击“保存”。 父主题： 在SLB中创建和管理负载均衡实例

查看更多 →

在SLB中导出OLC规则的IAC信息 由于OLC规则比较复杂，推荐在SLB管理台上配置好部分规则后导出IAC包，然后在导出的文件基础上进行修改。 使用IAC配置中心规则的功能只支持配置在SLB管理台创建的OLC服务，不支持在Cloud Map管理台创建的OLC服务。 导出IAC信息

查看更多 →