训练任务

创建训练任务

1. 在左侧菜单栏中单击“训练服务 > 训练任务”。
2. 单击“新建训练任务”，填写基本信息。
   图1 新建训练任务
   
   • 名称：任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。
   • 描述：简要描述任务，不包含“@#$%^&*< > \”，不得超过256个字符。
   • 资源规格：当前项目中可用的资源规格。
   • 优先级：设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。
   • 计算节点：用于运行训练任务的训练节点个数。
   • 上传模型节点：选择用特定节点上传训练模型，默认使用node-0（主节点）作为上传产物节点。

3. 选择算法。
   图2 选择算法
   
   • 训练算法：根据业务所需选择算法，自定义算法需提前在“训练服务 > 算法管理”中创建成功。
   • 参数列表：由算法携带，可修改参数值。
   • 环境变量：由算法携带，可修改参数值。

4. 选择需要归档的模型仓库。

   模型仓库需提前在“数据资产 > 模型管理”中创建成功。

   图3 常规训练
   
   • 常规训练：基于数据集和用户算法训练新模型。
   图4 增量训练
   
   • 增量训练：基于用户导入的模型或已完成训练模型版本（可通过${MODEL}获取该模型版本的文件路径）和新数据集使用选择的算法再次进行训练，生成精度更高的新模型。同常规训练不同的是需要额外选择输入模型和版本。

5. 选择数据集。

   用户从数据资产中的数据集和数据缓存中选择数据集，最多支持添加5个数据集。

   图5 选择数据集
   

6. 单击“创建”，在任务列表或分组可查看新建训练任务。

训练任务相关操作

在“训练任务”列表，可对训练任务进行以下操作：

训练任务日志查看和下载

训练任务运行的过程中生成日志，训练任务模块提供了日志的查看以及下载功能，支持用户查看训练任务的运行情况。训练任务生成的日志文件有以下四种：

• train-{id}-{index}.log：用户实际训练任务的训练日志。
• train-{id}-{index}-init.log：Octopus平台提供的前置数据的准备日志。
• train-{id}-{index}-sidecar.log：Octopus平台提供的任务流程控制日志，包括日志同步、结果上传。
• octopus-train-{id}-{index}-supplemental.logs: Octopus平台任务异常退出或停止产生的错误信息输出日志，运行正常时不产生该日志。
  

  {id}为该训练任务ID，{index}为节点编号，例如单节点single-0，多节点distributed-0 distributed-1。

详情页，单击“任务日志”，可查看该训练任务日志详情。支持在线浏览或下载至本地。如果日志较多，用户可在搜索框中输入关键字，查找指定日志内容。

图6，在日志服务页面中的日志列表部分详细展示了该训练任务包含的日志文件的大小以及最近写入时间。单击文件后的“查看”，算法训练的详细执行过程会在日志详情部分展示。用户也可在日志文件后的“操作”栏中，单击“下载”，即可将该日志文件下载到本地查看。

图6 日志文件

资源占用情况

在任务运行中，资源占用情况模块显示任务占用的CPU、内存、GPU/显存利用率、占用率百分比的折线图。默认显示CPU占用情况折线图。

图7 资源占用情况

• 双击任一图例：显示全部资源占用折线图。
• 单击指定图例：只显示该图例折线图。

此模块也可显示多个计算节点运行任务时，资源占用的情况。

• 如果选择2个计算节点运行任务，则可选择查看单个节点资源占用情况。
• 如果1个计算节点上存在多张GPU，则会显示所有GPU占用情况。
  

  资源占用情况功能模块，需要用户在制作自定义镜像时安装psutil与pynvml，参考命令如下：

  pip install psutil pynvml

  如果未安装psutil与pynvml，则页面无法显示资源使用状况。