预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b

查看更多 →

预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b

查看更多 →

GA的负载均衡和DNS负载均衡之间有什么区别？ 对比维度 全球加速GA DNS(GTM，GSLB) 定义 相当于Global ELB，在全球所有加速点都下发配置负载均衡规则，每个加速点GA都会把访问流量按策略分发到不同后端资源 通过对DNS解析流量按照权重，智能线路等策略把 域名 解析到不同IP实现全局负载均衡

查看更多 →

性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_evaluation目录下。 代码目录如下: benchmark_tools ├── benchmark_parallel.py # 评测静态性能脚本 ├── benchmark_serving

查看更多 →

SFT全参微调权重转换 支持HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作

查看更多 →

LoRA微调权重转换 LoRA微调训练前，需要先把训练权重文件转换为Megatron格式。 LoRA微调训练和SFT全参微调使用的是同一个HuggingFace权重文件转换为Megatron格式后的结果也是通用的。 如果在SFT微调任务中已经完成了HuggingFace权重转换操作，

查看更多 →

员”、“主要角色”。 权重：匹配问答与配置元素的近似度时，该元素所占比例。例如问答“不止英雄影片由谁主演”相似度计算时，本体关系“主演”所占比例大小。 图5 概念间关系链接 配置元素链接（代码编辑） 通过json格式代码完成元素链接的配置。配置模式选择“代码编辑”。 图6 元素链接

查看更多 →

获取授权重定向URL 功能介绍 获取授权重定向URL。 调试 您可以在 API Explorer 中调试该接口。 URI GET /v1/{project_id}/git/auths/{repo_type}/redirect 参数说明见表1。 表1 路径参数 参数 是否必选 参数类型

查看更多 →

开启了新节点自动加入代理功能后，当路由模式为权重负载时，需要设置新节点的读权重。节点的读权重默认为100，读权重越高，处理的读请求越多。 选择数据库节点 勾选需要加入到数据库代理中处理读请求的节点。 路由模式为负载均衡时，不需要配置读权重。数据库代理会根据节点的活跃连接数情况进行读请求分发，将读请求分发到活跃连接数较少的节点上。

查看更多 →

训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.4.2版

查看更多 →

训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data

查看更多 →

件版本和镜像配套关系获取基础镜像。 支持的模型软件包和权重文件 本方案支持的模型列表、对应的开源权重获取地址如表3所示，模型对应的软件和依赖包获取地址如表1所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 开源权重获取地址 1 llama-7b https://huggingface

查看更多 →

负载均衡 负载均衡概述 创建和管理负载均衡实例 创建和管理监听 创建和管理灰度服务 创建和管理过载控制服务 创建和管理资源 创建证书

查看更多 →

软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3

查看更多 →

建议您根据需要连接的只读实例个数设置代理节点数，1个只读实例配1个代理节点。 权重设置 仅“权重负载”模式需设置。选择需要分配权重的主实例和只读实例。 读权重分配： 读权重越高，处理的读请求越多，假设已选2个实例，权重分别设置为100，200，则当前proxy全部读请求自动按照1:2的比

查看更多 →

脚本开发2 SQL脚本需要顶部添加作者和日期等脚本备注信息 图3 脚本开发3 脚本测试成功后，保存并提交版本，这样才能在调度作业中生效。 图4 脚本开发4 创建dws sql脚本 在“脚本开发”功能下，在对应的脚本文件夹下创建dws sql脚本。 图5 创建dws sql脚本1 SQL脚本右上角配置数据连接和数据库

查看更多 →

脚本管理 提供用户自定义脚本的创建、修改、删除以及在目标虚拟机上执行自定义脚本、公共脚本的能力。通过该功能，用户可以通过自定义脚本或公共脚本在目标实例（目前支持E CS ）上执行操作。 创建自定义脚本 管理自定义脚本 执行自定义脚本 执行公共脚本 父主题： 自动化运维

查看更多 →