sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明

查看更多 →

度的设置解析线路，将访问者路由至不同的网站 服务器 。 对于部署了多台服务器的网站，如果想要实现解析的负载均衡，可以选择云解析服务的权重解析来实现。 介绍视频 通过视频了解华为云DNS智能解析的主要功能，以及如何实现运营商线路解析和地域解析。 使用场景 本章节介绍华为云智能解析的主要使用场景，如表1所示。

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli是

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/

查看更多 →

rt_mg_hf.sh 脚本，自定义环境变量的值，并运行该脚本。其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时，需要附加的参数值。如下： hf2hg：用于Hugging

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

变更配置是对微服务最后一次部署成功之后的配置进行变更，变更后可以重新启动部署。 变更微服务配置 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 微服务平台”。 选择左侧导航栏的“微服务管理”。 选择微服务列表操作列的“更多 > 配置变更”。 您也可以

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

在左侧导航栏，选择“DN管理”页签，单击上方的“设置读权重”。 图1 DN管理 设置实例的读权重。 在批量设置的弹窗中，“同步”功能可以用来将第一个实例的读权重设置同步到其他的实例上。此操作需满足所有实例的只读实例数量一致才可以实行。 如果有实例的只读实例数量与其他实例不一致，则无法使

查看更多 →

各服务器的IP地址。设置不同的“权重”参数，可以控制向用户返回不同IP地址的比例。 表1 数据规划 方案 域名 记录集类型 线路类型 值 权重 说明 方案一 example.com A 全网默认 192.168.1.1 1 用户的访问请求将按照“1:1:1”的比例，平均的分摊至3台服务器上。

查看更多 →

各服务器的IP地址。设置不同的“权重”参数，可以控制向用户返回不同IP地址的比例。 表1 数据规划 方案 域名 记录集类型 线路类型 值 权重 说明 方案一 example.com A 全网默认 192.168.1.1 1 用户的访问请求将按照“1:1:1”的比例，平均的分摊至3台服务器上。

查看更多 →

标签 elb 规则触发方式 配置变更 规则评估的资源类型 elb.members 规则参数 weight：后端 云服务器 的权重，请求将根据后端服务器组配置的负载均衡算法和后端云服务器的权重进行负载分发。 权重值越大，分发的请求越多。 取值范围：0-100。 父主题： 弹性负载均衡 ELB

查看更多 →

参考创建我的模型，用待更新的模型权重文件新建一个我的模型。关键参数请参见表1。 表1 创建模型的关键参数说明 参数 说明 来源模型 选择和待升级的模型服务的“部署模型”同一个模型框架。 权重设置与词表 选择“自定义权重”。 选择自定义权重路径 选择存放待更新的模型权重文件的OBS路径，必须选择到模型文件夹。

查看更多 →

置读写分离的延时阈值和路由模式。 表1 读写分离参数说明 参数 说明 延时阈值 只读实例同步主实例数据时允许的最长延迟时间。延时阈值仅在存在只读实例时生效。为避免只读实例读取的数据长时间和主实例不一致，当一个只读实例的延迟时间超过设置的延迟阈值，则不论该只读实例的读权重是多少，读请求都不会转发至该只读实例。

查看更多 →