多活容灾能力是指在同城场景下实现多活故障自动切换，由SDK和MAS服务配合完成。 读写分离。 读写分离由SDK实现，支持随机、轮询的负载均衡算法。 故障注入。 支持带注入故障的实例创建，包含延时（波动）、预设异常的故障配置。 single-read-write 单读写类似于主备库，MAS监控各节点健康状态，a

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件

查看更多 →

Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在E CS 服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号中的AK和SK进行签名验证，确保通过授权的账号才能访问指定的OBS资源。 父主题：

查看更多 →

准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli是

查看更多 →

Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS 服务器 中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号中的AK和SK进行签名验证，确保通过授权的账号才能访问指定的OBS资源。 父主题：

查看更多 →

rt_mg_hf.sh 脚本，自定义环境变量的值，并运行该脚本。其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时，需要附加的参数值。如下： hf2hg：用于Hugging

查看更多 →

响应状态码: 400 错误的请求：请检查请求路径及参数。 响应状态码: 401 未授权：1.请确认是否购买了相关服务。2.请联系客服人员检查您账号的当前状态。 响应状态码: 404 请求的内容未找到：请检查请求的路径。 响应状态码: 500 业务失败：请依次确认您请求中各参数的取值。 错误码

查看更多 →

（响应消息头中X-Subject-Token的值）。 最小长度：1 最大长度：5000 X-Language 否 String 语言环境，值为通用的语言描述字符串，比如zh-cn等，默认为zh-cn。 会根据语言环境对应展示一些国际化的信息，比如工单类型名称等。 最小长度：1 最大长度：32

查看更多 →

轮询方式获取单座席事件 前置条件 座席已签入成功，如果座席已签出，则停止调用该接口 针对获取在某个CC-gateway上已登录的座席的相关事件。采用HTTPS方式进行长轮询获取 此方式能够提供单座席短连接的事件获取 座席签入时不携带serviceToken或callBackUri

查看更多 →

优化消费者轮询（Polling） 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特

查看更多 →

在左侧导航栏，选择“DN管理”页签，单击上方的“设置读权重”。 图1 DN管理 设置实例的读权重。 在批量设置的弹窗中，“同步”功能可以用来将第一个实例的读权重设置同步到其他的实例上。此操作需满足所有实例的只读实例数量一致才可以实行。 如果有实例的只读实例数量与其他实例不一致，则无法使

查看更多 →

添加云上同一个区域、不同VPC的后端服务器 VPC对等连接 对等连接是建立在两个VPC之间的网络连接，用于连通同一个区域内的VPC，可以实现不同VPC之间的云上内网通信。对等连接可以连通相同账号或者不同账号下的VPC网络。 连通整个VPC网络的对等连接配置示例 企业路由器（ER） 对于同一个区域的VPC

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

求分发给不同的服务器，权重大的后端服务器被分配的概率高。 加权最少连接：加权最少连接是在最少连接数的基础上，根据服务器的不同处理能力，给每个服务器分配不同的权重，使其能够接受相应权值数的服务请求。 源IP算法：对不同源IP的访问进行负载分发，同时使得同一个客户端IP的请求始终被派发至某特定的服务器。

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →