# 创建视频生成大模型训练任务 #### 创建视频生成大模型预训练任务 创建视频生成大模型预训练任务步骤如下： 1. 登录ModelArts Studio平台，在"我的空间"模块，单击进入所需空间。 图1我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206952.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表1 视频生成大模型预训练参数说明]完成训练参数设置。 表1视频生成大模型预训练参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"。 - 类型：选择"多模态大模型"，并选择训练所用的基础模型和版本。 | | 训练配置 | 训练类型 | 选择"预训练"。 | | 训练配置 | 高级设置checkpoints | 断点续训，模型训练任务过程中，用于保存模型权重和状态的机制。"关闭"则不开启断点续训；"自动"保存训练过程中所有的checkpoint；"自定义"保存指定数量的checkpoint。需要注意：保存过多的checkpoint会占用较大的OBS存储。 开启断点续训后对于未训练完成的模型，可以通过单击训练任务名称，进入"训练结果"页签，单击产物列表中需要进行断点续训的checkpoints右侧的"续训"进行续训。 | | 训练参数 | 首帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 首尾帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 尾帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 续写能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 训练轮数 | 指完成全部训练数据集训练的次数。 | | 训练参数 | 学习率 | 学习率决定了每次训练时模型参数更新的幅度。选择合适的学习率非常重要：如果学习率太大，模型可能会无法收敛；如果学习率太小，模型的收敛速度会变得非常慢。 | | 训练参数 | 权重衰减比率 | 权重衰减比率的主要作用是通过惩罚复杂的模型参数来减少过拟合。 | | 训练参数 | 模型保存步数 | 训练过程中每隔多少个训练步长保存一次模型Checkpoint文件。 | | 训练参数 | 是否提取首帧特征 | is_i2v，是否提取首帧特征，1为提取，0为不提取，默认提取。 | | 训练参数 | 是否提取尾帧特征 | is_i2v_end，是否提取尾帧特征，1为提取，0为不提取，默认提取。 | | 训练参数 | 是否提取视频续写特征 | is_v2v，是否提取视频续写特征，1为提取，0为不提取，默认提取。 | | 数据配置 | 训练数据 | 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见[发布数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0059.html)。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 资源配置 | 优先级 | 资源调度优先级，优先级相同的任务先创建先执行。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 故障自动重启 | 自动重启 | 该功能开启后，当训练作业发生故障终止本次作业时，自动从本次中断的作业继续训练。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建视频生成大模型微调任务 创建视频生成大模型全量微调任务步骤如下： 1. 登录ModelArts Studio平台，在"我的空间"模块，单击进入所需空间。 图2我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571047312.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"创建训练任务"页面，模型类型选择"多模态大模型"，选择"Pangu-MM-M2-AIGVideo"视频生成大模型，训练类型选择"微调"。模型选择完成后，设置plog日志，参考[表2]完成训练参数设置。 表2视频生成大模型微调训练参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 模型类型 | 选择"多模态大模型" | | 训练配置 | 训练类型 | 选择"微调"。 | | 训练配置 | 基础模型 | 选择微调训练所用的基础模型， 可从"预置模型"或者"我的模型"中进行选择。 | | 训练配置 | 高级设置checkpoints | 断点续训，模型训练任务过程中，用于保存模型权重和状态的机制。"关闭"则不开启断点续训；"自动"保存训练过程中所有的checkpoint；"自定义"保存指定数量的checkpoint。需要注意：保存过多的checkpoint会占用较大的OBS存储。 开启断点续训后对于未训练完成的模型，可以通过单击训练任务名称，进入"训练结果"页签，单击产物列表中需要进行断点续训的checkpoints右侧的"续训"进行续训。 | | 训练参数 | 首帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 首尾帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 尾帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 续写能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 训练轮数 | 指完成全部训练数据集训练的次数。 | | 训练参数 | 学习率 | 学习率决定了每次训练时模型参数更新的幅度。选择合适的学习率非常重要：如果学习率太大，模型可能会无法收敛；如果学习率太小，模型的收敛速度会变得非常慢。 | | 训练参数 | 权重衰减比率 | 权重衰减比率的主要作用是通过惩罚复杂的模型参数来减少过拟合。 | | 训练参数 | 模型保存步数 | 训练过程中每隔多少个训练步长保存一次模型Checkpoint文件。 | | 训练参数 | 是否提取首帧特征 | is_i2v，是否提取首帧特征，1为提取，0为不提取，默认提取。 | | 训练参数 | 是否提取尾帧特征 | is_i2v_end，是否提取尾帧特征，1为提取，0为不提取，默认提取。 | | 训练参数 | 是否提取视频续写特征 | is_v2v，是否提取视频续写特征，1为提取，0为不提取，默认提取。 | | 数据配置 | 训练数据 | 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见[发布数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0059.html)。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 资源配置 | 优先级 | 资源调度优先级，优先级相同的任务先创建先执行。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 故障自动重启 | 自动重启 | 该功能开启后，当训练作业发生故障终止本次作业时，自动从本次中断的作业继续训练。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建视频生成大模型蒸馏任务 创建视频生成大模型蒸馏任务步骤如下： 1. 登录ModelArts Studio平台，在"我的空间"模块，单击进入所需空间。 图3我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726463.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"选择模型"页面，选择"模型广场 \> 多模态大模型 \> 模型"，单击"确定"进入"创建训练任务"页面。 4. 在"创建训练任务"页面参考[表3]完成训练参数设置。 表3视频生成大模型蒸馏训练参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 选择模型 | 可重新选择蒸馏训练所用的基础模型，及模型版本。 来源：模型广场表示预置模型；我的资产表示经过训练发布的用户模型。 类型：选择多模态大模型。 | | 训练配置 | 训练类型 | 选择"蒸馏"。 | | 训练配置 | 高级设置checkpoints | 断点续训，模型训练任务过程中，用于保存模型权重和状态的机制。"关闭"则不开启断点续训；"自动"保存训练过程中所有的checkpoint；"自定义"保存指定数量的checkpoint。需要注意：保存过多的checkpoint会占用较大的OBS存储。 开启断点续训后对于未训练完成的模型，可以通过单击训练任务名称，进入"训练结果"页签，单击产物列表中需要进行断点续训的checkpoints右侧的"续训"进行续训。 | | 训练参数 | 首帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 首尾帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 尾帧能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 续写能力训练数据比例 | 本模型具备首帧、首尾帧、尾帧、续写四项能力，可以同时进行训练，各项能力训练所使用的数据占比。注意：所有数据占比的和应为1。 | | 训练参数 | 训练轮数 | 指完成全部训练数据集训练的次数。 | | 训练参数 | 学习率 | 学习率决定了每次训练时模型参数更新的幅度。选择合适的学习率非常重要：如果学习率太大，模型可能会无法收敛；如果学习率太小，模型的收敛速度会变得非常慢。 | | 训练参数 | 权重衰减比率 | 权重衰减比率的主要作用是通过惩罚复杂的模型参数来减少过拟合。 | | 训练参数 | 模型保存步数 | 训练过程中每隔多少个训练步长保存一次模型Checkpoint文件。 | | 训练参数 | 模型下载并发数 | 训练初期并发多少个节点同时下载模型文件。 | | 训练参数 | 模型下载预计耗时 | 单次模型下载预计耗时，单位秒。 | | 训练参数 | 处理后数据集路径 | 处理后数据集路径。 | | 训练参数 | 使用上下文并行性 | 使用上下文并行性 | | 训练参数 | 上下文并行性数量 | 上下文并行性数量 | | 数据配置 | 训练集 | 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见[发布数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0059.html)。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 资源配置 | 优先级 | 资源调度优先级，优先级相同的任务先创建先执行。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 故障自动重启 | 自动重启 | 该功能开启后，当训练作业发生故障终止本次作业时，自动从本次中断的作业继续训练。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | 5. 参数填写完成后，单击"立即创建"。 6. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建视频生成大模型LoRA微调任务 创建视频生成大模型LoRA微调任务步骤如下： 1. 登录ModelArts Studio平台，在"我的空间"模块，单击进入所需空间。 图4我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571047314.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"选择模型"页面，选择"模型广场 \> 多模态大模型 \> 模型"，单击"确定"进入"创建训练任务"页面。 4. 在"创建训练任务"页面，参考[表4]完成训练参数设置。 表4视频生成大模型LoRA微调训练参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 选择模型 | 可重新选择LoRA微调训练所用的基础模型，及模型版本。 来源：模型广场表示预置模型；我的资产表示经过训练发布的用户模型。 类型：选择多模态大模型。选择"Pangu-MM-M2-AIGVideo"视频生成大模型。 | | 训练配置 | 训练类型 | 选择"微调"。 | | 训练配置 | 训练目标 | 选择"LoRA微调"。 | | 训练配置 | 高级设置checkpoints | 断点续训，模型训练任务过程中，用于保存模型权重和状态的机制。"关闭"则不开启断点续训；"自动"保存训练过程中所有的checkpoint；"自定义"保存指定数量的checkpoint。需要注意：保存过多的checkpoint会占用较大的OBS存储。 开启断点续训后对于未训练完成的模型，可以通过单击训练任务名称，进入"训练结果"页签，单击产物列表中需要进行断点续训的checkpoints右侧的"续训"进行续训。 | | 训练参数 | 数据集类型 可选(video, bin) | dataset_type，数据集类型，支持原始video输入，选择video； 也支持经过数据工程t5、vae处理后的二进制文件，选择 bin。 | | 训练参数 | 秩 | lora_rank, LoRA技术中，低秩矩阵的 "秩（rank）"越小，A/B矩阵规模越小，微调成本越低。 | | 训练参数 | 训练轮数 | epochs，完成全部训练数据集训练的次数。 | | 训练参数 | 学习率 | lr，用于控制每个训练step参数更新的幅度，学习率过大的时候会导致模型难以收敛，过小的时候会收敛速度过慢。 | | 训练参数 | 梯度累积步数 | gradient_accumulation_steps, 更新模型参数前，需要累积多少个批次数据的梯度 | | 训练参数 | 模型保存步数 | 训练过程中每隔多少个训练步长保存一次模型Checkpoint文件。 | | 训练参数 | 预热的迭代轮数 | warmup_epochs, 预热的迭代轮数。 | | 训练参数 | 学习率调度器 | lr_scheduler, 控制训练过程中学习率（lr）动态变化的组件 可选(linear\|cosine\|constant)。 | | 训练参数 | 权重衰减 | weight_decay, 一种正则化技术，本质是在模型的 "损失函数" 中增加 "参数平方和项"，通过惩罚 "过大的参数值" 抑制模型过拟合。 | | 训练参数 | 是否使用上下文并行性 | use_context_parallelism, 是否使用上下文并行性 | | 训练参数 | 上下文并行性数量 | context_parallelism_size, 上下文并行性数量 | | 数据配置 | 训练集 | 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见[发布数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0059.html)。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 资源配置 | 优先级 | 资源调度优先级，优先级相同的任务先创建先执行。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 故障自动重启 | 自动重启 | 该功能开启后，当训练作业发生故障终止本次作业时，自动从本次中断的作业继续训练。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | 5. 参数填写完成后，单击"立即创建"。 6. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。