网关与子设备管理 平台通知网关子设备新增 平台通知网关子设备删除 网关同步子设备列表 网关更新子设备状态 网关更新子设备状态响应 网关新增子设备请求 网关新增子设备请求响应 网关删除子设备请求 网关删除子设备请求响应 父主题： 设备侧MQTT/MQ TTS 接口参考

查看更多 →

删除LoRa节点。应用已鉴权，在header中携带参数app_key和Authorization: Bearer {accessToken}Status Code: 204 No Content

查看更多 →

必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_W

查看更多 →

Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/work/tokenizers/llama-2-13b-chat-hf 该参数为tokenizer文件的存放地址。默认与ORIGINA

查看更多 →

LoRA微调训练 本章节以Qwen-14B为例，介绍LoRA微调训练的全过程。对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Step1 LoRA微调数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。

查看更多 →

Llama2-7B：1，一般此值与运行节点数相等 Llama2-13B：1，一般此值与运行节点数相等 Llama2-70B：大于等于4，建议值为8，一般选用几台机器训练则值为几。 RUN_TYPE lora 必填。表示训练类型，lora表示LoRA微调训练。 MASTER_ADDR

查看更多 →

cro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP

查看更多 →

统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。 图2 开启故障重启 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。本次qwenvl模型选用 8* ascend-snt9b。 图3 选择资源池规格 在OBS中新建一个log目录，作业日志选择OBS中

查看更多 →

必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_W

查看更多 →

Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/work/tokenizers/llama-2-13b-chat-hf 该参数为tokenizer文件的存放地址。默认与ORIGINA

查看更多 →

loraServer网关上线后，注册LoRa节点。应用已鉴权，在header中携带参数app_key和Authorization: Bearer {accessToken}Status Code: 201 Created

查看更多 →

cro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP

查看更多 →

cro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP

查看更多 →

cro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 LR

查看更多 →

/home/ma-user/ws/llm_train/AscendSpeed/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型，还需要手动修改toke

查看更多 →

LoRA微调训练 本章节介绍LoRA微调训练的全过程。 Step1 LoRA微调数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 LoRA微调训练与SFT微调使用同一个数据集，如果已经在SFT微调时处理过数据，可以直接使用，无需重复处理。

查看更多 →

Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/work/tokenizers/llama-2-13b-chat-hf 该参数为tokenizer文件的存放地址。默认与ORIGINA

查看更多 →

必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_W

查看更多 →

LoRA微调训练 本章节以Baichuan2-13B为例，介绍LoRA微调训练的全过程。 Step1 LoRA微调数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 LoRA微调训练与SFT微调使用同一个数据集，如果已经在SFT微调时处理过

查看更多 →

公网NAT网关 公网NAT网关、弹性公网IP带宽、VPC内弹性云 服务器 与VPC是什么样的关系？ 公网NAT网关如何实现高可用性？ 哪些端口无法访问？ 弹性云服务器使用公网NAT网关和直接绑定弹性公网IP有区别吗？ 通过公网NAT网关访问Internet失败该如何处理？ 公网NAT网关是否支持更换VPC？

查看更多 →

您提供与传统网络无差别的虚拟网络，通过管理控制台可容易地配置和管理这些网络。您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与 云服务器 的访问规则，加强云服务器的安全保护。虚拟私有云的优势如下：

查看更多 →