更新时间:2024-08-23 GMT+08:00
分享

使用Notebook进行代码调试

背景信息

  • Notebook使用涉及到计费,具体收费项如下:
    • 处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
    • 创建Notebook时,如果选择使用云硬盘EVS存储配置,云硬盘EVS会一直收费,建议及时停止并删除Notebook,避免产品不必要的费用。
  • 在创建Notebook时,默认会开启自动停止功能,在指定时间内停止运行Notebook,避免资源浪费。
  • 只有处于“运行中”状态的Notebook,才可以执行打开、停止操作。
  • 一个帐户最多创建10个Notebook。

创建Notebook实例

  1. 注册镜像。登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。单击“注册镜像”,镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型加上“GPU”,如图1所示。
    图1 注册镜像
  2. 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”列表页面。
  3. 单击“创建”,进入“创建Notebook”页面,请参见如下说明填写参数。
    1. 填写Notebook基本信息,包含名称、描述、是否自动停止,详细参数请参见表1
      表1 基本信息的参数描述

      参数名称

      说明

      “名称”

      Notebook的名称。只能包含数字、大小写字母、下划线和中划线,长度不能大于64位且不能为空。

      “描述”

      对Notebook的简要描述。

      “自动停止”

      默认开启,且默认值为“1小时”,表示该Notebook实例将在运行1小时之后自动停止,即1小时后停止规格资源计费。

      开启自动停止功能后,可选择“1小时”“2小时”“4小时”“6小时”“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。

    2. 填写Notebook详细参数,如镜像、资源规格等。
      • 镜像:在“自定义镜像”页签选择已上传的自定义镜像。
      • 资源类型:按实际情况选择已创建的专属资源池。
      • 规格:选择8卡GPU规格,“run.sh”文件中默认MA_NUM_GPUS为8卡,因此选择notebook规格时需要与MA_NUM_GPUS默认值相同。
      • 存储配置:选择“弹性文件服务SFS”作为存储位置。子目录挂载可不填写,如果需挂载SFS指定目录,则在子目录挂载处填写具体路径。

      如果需要通过VS Code连接Notebook方式进行代码调试,则需开启“SSH远程开发”并选择密钥对,请参考VS Code连接N

  4. 参数填写完成后,单击“立即创建”进行规格确认。
  5. 参数确认无误后,单击“提交”,完成Notebook的创建操作。

    进入Notebook列表,正在创建中的Notebook状态为“创建中”,创建过程需要几分钟,请耐心等待。当Notebook状态变为“运行中”时,表示Notebook已创建并启动完成。

  6. 在Notebook列表,单击实例名称,进入实例详情页,查看Notebook实例配置信息。
  7. 在Notebook中打开Terminal,输入启动命令调试代码。
    # 建立数据集软链接
    # ln -s /home/ma-user/work/${coco数据集在SFS上的路径} /home/ma-user/coco
    # 进入到对应目录
    # cd /home/ma-user/work/${YOLOX在SFS上的路径}
    # 安装环境并执行脚本
    # /home/ma-user/anaconda3/envs/pytorch/bin/pip install -r requirements.txt && /bin/sh tools/run.sh 
    
    # 例如
    ln -s /home/ma-user/work/coco /home/ma-user/coco
    cd /home/ma-user/work/code/YOLOX/
    /home/ma-user/anaconda3/envs/pytorch/bin/pip install -r requirements.txt && /bin/sh tools/run.sh

    Notebook中调试完后,如果镜像有修改,可以保存镜像用于后续训练,具体操作请参见保存Notebook镜像环境

相关文档