置文件啥的 图2 Nginx配置 编译安装 make && make install nginx安装成功 图3 编译安装 启动nginx 先检测nginx的配置是否正确 ./nginx/sbin/nginx -t 图4 启动nginx 如果出现上面两句话，说明nginx配置ok,

查看更多 →

基于权重的分流 ASM能够提供基于权重的流量控制，根据设定的权重值将流量分发给指定的版本。 控制台更新基于权重的分流 登录U CS 控制台，在左侧导航栏中单击“服务网格”。 单击服务网格名称，进入详情页。 在左侧导航栏，单击“服务中心”下的“网格服务”，进入服务列表。 单击服务名，进入服务详情页。

查看更多 →

alancer，绑定弹性负载均衡。 创建2个弹性公网IP，并关联弹性负载均衡 ELB和CCE集群，允许公网访问ELB和CCE集群的API接口。 方案优势 开源定制 该解决方案是开源的，用户可以在源码基础上进行定制化开发。Nginx Ingress有丰富的自定义配置参数，能适应各种生产需求。

查看更多 →

加权轮询算法：根据后端 服务器 的权重，按顺序依次将请求分发给不同的服务器。它用相应的权重表示服务器的处理性能，按照权重的高低以及轮询方式将请求分配给各服务器，相同权重的服务器处理相同数目的连接数。常用于短连接服务，例如HTTP等服务。 加权最少连接：最少连接是通过当前活跃的连接数来估计服务器

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli是

查看更多 →

sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明

查看更多 →

流量切换前，假设您已将业务 域名 通过A记录解析的方式指向了自建Nginx Ingress的公网地址。您可以使用DNS的流量权重分配，逐步将访问原Nginx Ingress的流量切换至新的ELB Ingress。 图1 使用DNS切流 您可以通过以下步骤完成流量的切换。 进入公网域名列表页面。

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件

查看更多 →

Nginx 组件说明 FAQ：此章节为项目上需要使用 nginx 负载均衡或者使用 https 时才会使用到 Nginx 是一个高性能的 HTTP和反向代理服务器。 容器创建 所属服务：新增服务的时候需要注意一定要选择 Nginx 类型。 主机名称：按照规划的服务器选择用于部署 Nginx

查看更多 →

sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明

查看更多 →

sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明

查看更多 →

sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明

查看更多 →

sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明

查看更多 →

次将请求分发给不同的服务器。它用相应的权重表示服务器的处理性能，按照权重的高低以及轮询方式将请求分配给各服务器，相同权重的服务器处理相同数目的连接数。常用于短连接服务，例如HTTP等服务。 加权最少连接：最少连接是通过当前活跃的连接数来估计服务器负载情况的一种动态调度算法。加权最

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在Notebook运行该脚本。其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时，需要附加的参数值。如下： hf2hg：用于Hugging

查看更多 →