GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime

查看更多 →

GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime

查看更多 →

GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime

查看更多 →

包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型列表 序号 支持模型

查看更多 →

输出 保存为 DLI OBS表 保存数据 保存 CS V数据到OBS 保存模型 保存模型到OBS 保存parquet数据 数据压缩 父主题： 输入输出

查看更多 →

即自定义模型），则模型文件必须满足自定义模型规范（训练）才支持模型自定义训练。 当使用 自定义镜像 进行模型微调时，要确认镜像是否满足自定义镜像规范，否则无法成功完成自定义训练。 进入模型微调 登录AI Gallery。 单击“模型”进入模型列表。 选择需要进行微调训练的模型，单击模型名称进入模型详情页。

查看更多 →

GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime timestamp

查看更多 →

GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime

查看更多 →

GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime

查看更多 →

型时，可以通过设置这个参数来控制日志的输出。 -seq-length : 是一个用于设置序列长度的参数，表示模型处理的序列长度。在训练大规模模型时，可以通过设置这个参数来优化模型的训练速度和效果。 数据预处理后输出的训练数据如下： alpaca_text_document.bin

查看更多 →

包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型类型和权重获取地址

查看更多 →

训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf

查看更多 →

训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf

查看更多 →

选择数据 在使用通用图像分类工作流开发应用时，您需要选择训练数据集，后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集，也可以选择导入基于通用图像分类工作流创建的其他应用中已创建的数据集。 新建训练数据集 导入已有数据集 前提条件 通用图像分类工作流支

查看更多 →

明请参创建训练作业。 单击“提交”，完成训练作业的创建。 训练作业一般需要运行一段时间。 要查看训练作业实时情况，您可以前往训练作业列表，单击训练作业的名称，进入训练作业详情页，查看训练作业的基本情况，具体请参考查看作业详情。 父主题： 使用自定义镜像训练模型（模型训练）

查看更多 →

完成。 当训练作业的状态变更为“已完成”时，表示已运行结束。 图8 查看训练作业状态 您可以单击训练作业名称，进入详情页面，了解训练作业的“配置信息”、“日志”、“资源占用情况”和“评估结果”等信息。 您也可以在配置的“训练输出位置”对应的OBS目录下获得训练生成的模型。 步骤5：转换模型

查看更多 →

、输入输出等数据配置在训练容器中的路径。 后续操作 创建算法完成后，可以使用算法快速创建训练作业，详细操作请参见使用自定义镜像创建训练作业（CPU/GPU）。 也可以将新创建的算法发布到AI Gallery，分享给其他用户使用。 父主题： 使用自定义镜像训练模型（模型训练）

查看更多 →

object_type="directory") # 通过JobStep来定义一个训练节点，并将训练结果输出到OBS job_step = wf.steps.JobStep( name="training_job", # 训练节点的名称，命名规范(只能包含英文字母、数字、下划线（_）、中划

查看更多 →

HuggingFace转Megatron参数说明 --model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipelin

查看更多 →

batch_size 1 训练相关参数：批量训练样本个数。 max_epoch 100 训练相关参数：训练遍历数据集次数。 g_learning_rate 0.0001 训练相关参数：生成器训练学习率。 d_learning_rate 0.0001 训练相关参数：判别器训练学习率。 log_frequency

查看更多 →

数据集是模型微调的基础，首先需要创建用于模型训练的数据集。 创建模型微调流水线 通过模型微调任务进行模型训练，微调任务结束后，将生成改进后的新模型。 部署模型 模型部署是通过为基座模型（即原模型）和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型（输入问题发起请求

查看更多 →