查看训练详情
在使用CloudRobo平台的模型训练功能时,您可能需要查看当前正在进行的训练作业列表及其详细信息,以确保训练过程顺利进行。
通过作业列表页面,您可以轻松掌握每个作业的状态,调整列表展示内容,根据需要的属性类型进行筛选过滤,快速查找训练作业。
单击具体作业,进入详情页后,您可以查看作业流程、具体配置信息,以及该作业的训练产物、事件、日志、监控和训练指标信息。此外,您还可以在详情页进行日志的下载。界面默认展示该作业最新运行流水号的详细信息,您可以通过单击作业名称右侧的
,切换运行流水号查看各运行记录下的详细信息。
查看训练作业列表
- 登录CloudRobo控制台。
- 在左侧导航栏中,选择,进入“模型训练”页面。
- 在列表界面可以查看作业名称/ID、状态、训练方式、实例规格、实例数、运行记录、最新创建时间和创建者等信息。部分列支持筛选或排序查看。单击作业搜索框右侧的
可对作业列表展示内容设置和调整。 - 用户可以通过选择“全部”或者“我创建的”快速过滤可见的作业列表范围。
- 在训练作业列表上方的搜索框中,根据您需要的属性类型,例如名称、状态、训练方式等进行筛选过滤,快速查找训练作业。
- 可以在列表页最右侧的“操作”列,对作业进行重训、续训、编辑草稿、停止或删除等操作。
- 在列表界面可以查看作业名称/ID、状态、训练方式、实例规格、实例数、运行记录、最新创建时间和创建者等信息。部分列支持筛选或排序查看。单击作业搜索框右侧的
训练作业流程可视化
在机器学习训练过程中,用户通常需要监控训练作业的执行状态。然而,传统的监控方式往往难以提供全面的作业运行信息,导致用户无法及时掌握训练进度。通过作业流程可视化功能模块,用户可以实时查看训练作业的详细运行状态。该功能支持多维度的信息展示,包括作业调度情况、环境准备状态以及作业运行进度等关键环节。用户只需进入可视化界面,即可一目了然地掌握训练作业的全生命周期信息,从而更精准地进行进度跟踪和参数调整,有效提升训练效率和用户体验。
当前CloudRobo训练作业模块在训练作业详情页的顶部,展示了作业流程详情,共有四个主阶段信息:作业调度 > 环境准备 > 作业运行 > 作业结束。
每个主阶段,可以查看具体子阶段流程信息。
- 作业调度:记录作业创建情况(成功与失败),作业调度情况,发生的日期与时间等信息。
- 环境准备:记录环境准备的相关内容,例如作业环境开始准备、初始化环境预检、训练代码下载中、作业环境准备完成等关键步骤的发生的日期与时间等信息。
- 作业运行:记录作业运行相关内容,例如训练作业开始启动、训练作业执行完成等关键步骤的发生的日期与时间等信息。
- 作业结束:记录作业运行结果等关键步骤的发生的日期与时间等信息。
作业流程主阶段信息固定,但子阶段信息不固定,例如“环境准备”中的子阶段“训练输入下载中”,如果训练作业无输入,则该子阶段不存在;例如:如果“初始化环境预检中”事件丢失,则“作业运行”中的子阶段“初始化环境预检中”子阶段不存在。
查看训练作业的训练产物
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 在训练作业列表中,单击作业名称进入训练作业详情页面。
- 在训练作业详情页面,单击“训练产物”页签查看作业训练产物,包含模型产物和模型优势技能等信息。您可以通过单击作业名称右侧的
,切换运行流水号查看各运行记录下的训练产物。您还可以在详情页面做如下操作: - 查看训练产物:界面默认展示最新运行流水号下的所有训练产物,包括训练过程中的checkpoint(中间产物)与训练最终产物。排列规则如下:最终产物置顶,中间产物依次排列其后,编号越小越靠后。此外,最新运行记录会保留训练全过程中的所有checkpoint,而中间态运行记录仅保留当前阶段的checkpoint。
- 保存训练产物:在训练结束后或训练过程中,单击未保存的checkpoint(中间产物)右侧的“保存”,在弹出来的“保存到空间资产”弹窗中设置保存方式(新模型或者已有模型新版本)、模型名称和模型版本号,即可完成中间产物的保存。
训练最终产物在训练结束后会自动保存。
- 查看训练产物详情:单击已保存的训练产物(包括checkpoint和训练最终产物)右侧的“查看模型”,系统将跳转至空间资产-模型详情页,您可在该页面查看该产物的详细信息。
- checkpoint续训:当训练作业的输入模型算法支持checkpoint管理和续训,训练模式为模型调优,且“状态”为“失败”(仅限运行失败)、“已停止”或“异常”时,可单击checkpoint右侧的“更多 > 续训”,在弹出来的“续训”弹窗中单击“确定”,即可以当前checkpoint作为训练起点开始续训。
- 续训将生成新作业流水号,基于当前任务继续训练,续训结果可在作业中查看。
- 续训会删除当前checkpoint后的全部checkpoints,删除的checkpoints迁移到新任务统一管理,无需切回历史任务查看,但历史任务中已保存的记录保持不变。
仅支持对最新运行记录的checkpoint续训,历史运行记录的checkpoint不支持续训。
- 重新保存中间产物:checkpoint保存后,如果当前页显示的文件大小和保存至空间资产中产物的实际大小(通过查看训练产物详情获取该产物保存路径进行核对)不一致,可单击checkpoint右侧的“更多 > 重新保存”,在弹出来的“重新保存中间产物”对话框中单击“确定”完成中间产物的重新保存。重新保存后,新模型文件将覆盖空间资产中的原模型文件。 图2 重新保存中间产物
- 查看checkpoint的文件列表:单击checkpoint右侧的“更多 > 查看详情”,跳转到OBS桶中查看该checkpoint的文件列表。
部分模型(如CloudRobo-VLA0-Force-Base、CloudRobo-ForceVLA-Flash)训练后的checkpoint文件列表,因用户无对应OBS桶的访问权限而无法查看。
- 查看训练指标:切换训练指标项,查看训练作业各指标项曲线图,了解该训练作业的训练状态。最新任务的续训指标会合并展示历史续训任务的指标,因此无需切换至历史任务查看。
- 查看模型优势技能:查看模型经过训练后,在各项能力中表现相对优异的技能。
查看训练作业配置详情
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 在训练作业列表中,单击作业名称进入训练作业详情页面。
- 在训练作业详情页面,单击“配置详情”页签查看作业配置信息。包含基础信息、数据配置、启动命令、环境变量、超参配置、资源配置、访问配置等信息。
查看训练作业监控指标
在训练作业运行过程中,用户可通过指标监控可以实时掌握训练作业的进度,了解模型在不同阶段的训练状态。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 在训练作业列表中,单击作业名称进入训练作业详情页面。
- 在训练作业详情页面,单击“监控”页签查看训练作业占用的CPU、内存、NPU以及NPU显存使用情况,网络IO上/下行速率、磁盘写入/读取速率等监控指标。界面默认显示“作业任务”监控详情。如需查看节点监控,可切换至“任务监控”;若作业包含多个节点,支持在节点间切换查看。
表1 监控项信息 监控项
说明
CPU使用率
用于统计测量对象的CPU使用率(%)。
CPU使用量
用于统计测量对象已经使用的CPU核个数(Core)。
内存使用率
用于统计测量对象已使用内存占申请物理内存总量的百分比(%)。
内存使用量
用于统计测量对象实际已经使用的物理内存(MB)。
NPU使用率
昇腾系列AI处理器AI Core利用率(%)。
NPU显存使用率
用于统计测量对象已使用的NPU显存占NPU存储容量的百分比(%)。
NPU显存使用量
用于统计测量对象已使用的NPU显存(MB)。
网络IO上行速率
网络接收数据速率,该指标用于统计测试对象的入方向网络流速(Bytes/s)。
网络IO下行速率
网络发送数据速率,该指标用于统计测试对象的出方向网络流速(Bytes/s)。
磁盘读取速率
用于统计每秒从磁盘读出的数据量(KB/s)。
磁盘写入速率
用于统计每秒写入磁盘的数据量(KB/s)。
查看训练作业指标
在训练作业运行过程中,用户能在模型训练查看到训练作业指标,即可了解该训练作业的训练状态。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 在训练作业列表中,单击作业名称进入训练作业详情页面。
- 在训练作业详情页面,单击“训练指标”页签查看训练作业的训练指标。
训练指标是各个模型预置,每个模型预置的指标有所区别。
查看训练作业日志
训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出现的问题。
当在CloudRobo中遇到训练作业问题时,用户可以通过查看日志中的报错信息直接定位大多数问题。
在训练作业详情页,日志页签提供日志预览和日志下载能力。
- 预览日志
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 在训练作业列表中,单击作业名称进入训练作业详情页面。
- 在训练作业详情页面,单击“日志”页签查看日志。
界面默认显示“用户日志”,可以根据需要选择“系统日志”查看日志详情。
- 用户日志:用户训练代码的标准输出。
- 系统日志:CloudRobo平台产生的系统日志,主要用于运维人员定位平台问题。
日志窗口提供训练日志预览功能,如果训练作业有多个节点,则支持查看不同节点的日志。当日志文件过大时,日志窗口仅加载最新的部分日志。
查看训练作业事件
在训练作业的整个生命周期中,从用户可见的开始阶段起,系统后台会记录每一个关键事件点,用户可以随时在对应训练作业的详情页面查看这些记录。用户能够清晰地了解训练作业的进展和状态,确保信息的透明度和可追溯性,也可以通过查看异常事件信息定位问题。
事件保留周期为30天,30天后自动清理数据。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 在训练作业列表中,单击作业名称进入训练作业详情页面。
- 在训练作业详情页面,单击“事件”页签查看事件类型、事件信息、事件发生时间等信息。
在事件列表上方的搜索框中,根据您需要的事件信息,例如事件等级、事件信息进行筛选过滤,快速查找事件。