更新时间:2024-10-15 GMT+08:00
分享

使用VS Code创建并调试训练作业

由于AI开发者会使用VS Code工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境、贴近本地开发习惯地编写启动命令,ModelArts提供了一个训练作业场景下的IDE插件ModelArts-HuaweiCloud,用户通过简易的操作,实现在本地IDE中进行训练配置、资源监控、作业管理、代码管理等动作。

本章节介绍如何使用VS Code插件创建训练作业并调试。

使用VS Code插件创建训练作业并调试功能目前是白名单,需要提交工单申请开通。

准备工作

  • 创建OBS桶,桶名称示例:“xxx-project”,在OBS桶里创建“data”文件夹。(建议下载OBS Browser+进行相关操作)。
  • 上传本地数据至“data”文件夹。复制此OBS路径,此时输入路径应为“obs://xxx-project/data”,(此路径后面标记为输入路径)。

安装VS Code插件并登录

本地打开VS Code软件,单击左侧导航栏的图标,将插件包拖入到扩展区空白处,即可自动安装。

待左侧导航出现图标,表示插件安装完成。

图1 安装VS Code插件

创建训练作业

  1. 单击左侧导航的图标,单击“登录”进入登录页面,输入对应的登录信息。
    单击“获取AccessKey”即可跳转到AK/SK获取教程页面
    图2 登录VS Code插件
  2. 登录后,VS Code自动同步ModelArts中的训练作业列表,并进入开发场景选择页面,如图3所示。选择合适的开发场景,并选择工作目录后,进入训练作业代码存储路径选择界面,单击“使用OBS”“使用SFS”,填写OBS或SFS路径,单击“确定”。选择此路径后,会自动同步在“高级配置>中转目录”,也可单击“稍后决定”直接跳过。
    • 线下开发:代码在本地,将本地代码传到OBS,然后通过OBS传至云上或直接使用SFS盘存储的代码。
    • 线上开发:代码在云上,通过SSH连接容器。
      图3 选择开发场景
      图4 选择训练作业代码存储位置
  3. 鼠标放至作业列表处,单击作业列表旁边的打开创建训练作业页面。
    图5 创建作业入口
  4. (可选)设置中转目录:中转目录支持OBS路径和SFS盘挂载路径。如果已经在步骤3配置,此处会自动显示中转目录。
    如果设置的是OBS路径,单击“提交作业”后,插件会自动将当前打开的项目文件整体上传至OBS中转目录上。
    图6 设置中转目录
  5. 设置输入路径:本地项目对应的输入文件设置为输入路径。
    图7 设置输入路径

    在输入框选择输入数据所在的路径,如图9所示。

    图8 填写训练输入路径

    选择挂载SFS路径时,下拉框只显示有权限的SFS路径,显示“只读”的文件夹只支持只读功能,不显示的读写均支持。可参考权限管理文档修改SFS Turbo权限。

    图9 输入数据设置完成界面
  6. 设置训练输出路径:新建“output”文件夹设置为输出。(如果本地有output文件夹,无需新建)

    只有文件夹下才支持新建文件夹,除项目根目录以外,其他文件夹需展开才能添加文件夹。

    图10 新建文件夹

    这里用output作为举例,文件夹名需与项目真实输出文件名一致。

    图11 设为输出路径
    图12 输出设置完成
  7. 填写启动命令,提交作业。
  8. 在作业列表单击作业名称进入作业详情。

相关文档