使用VS Code创建并调试训练作业
由于AI开发者会使用VS Code工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境、贴近本地开发习惯地编写启动命令,ModelArts提供了一个训练作业场景下的IDE插件ModelArts-HuaweiCloud,用户通过简易的操作,实现在本地IDE中进行训练配置、资源监控、作业管理、代码管理等动作。
本章节介绍如何使用VS Code插件创建训练作业并调试。
使用VS Code插件创建训练作业并调试功能目前是白名单,需要提交工单申请开通。
准备工作
- 创建OBS桶,桶名称示例:“xxx-project”,在OBS桶里创建“data”文件夹。(建议下载OBS Browser+进行相关操作)。
- 上传本地数据至“data”文件夹。复制此OBS路径,此时输入路径应为“obs://xxx-project/data”,(此路径后面标记为输入路径)。
安装VS Code插件并登录
本地打开VS Code软件,单击左侧导航栏的图标,将插件包拖入到扩展区空白处,即可自动安装。
待左侧导航出现图标,表示插件安装完成。
创建训练作业
- 单击左侧导航的图标,单击“登录”进入登录页面,输入对应的登录信息。
单击“获取AccessKey”即可跳转到AK/SK获取教程页面。图2 登录VS Code插件
- 登录后,VS Code自动同步ModelArts中的训练作业列表,并进入开发场景选择页面,如图3所示。选择合适的开发场景,并选择工作目录后,进入训练作业代码存储路径选择界面,单击“使用OBS”或“使用SFS”,填写OBS或SFS路径,单击“确定”。选择此路径后,会自动同步在“高级配置>中转目录”,也可单击“稍后决定”直接跳过。
- 线下开发:代码在本地,将本地代码传到OBS,然后通过OBS传至云上或直接使用SFS盘存储的代码。
- 线上开发:代码在云上,通过SSH连接容器。
图4 选择训练作业代码存储位置
- 鼠标放至作业列表处,单击作业列表旁边的打开创建训练作业页面。
图5 创建作业入口
- (可选)设置中转目录:中转目录支持OBS路径和SFS盘挂载路径。如果已经在步骤3配置,此处会自动显示中转目录。
如果设置的是OBS路径,单击“提交作业”后,插件会自动将当前打开的项目文件整体上传至OBS中转目录上。图6 设置中转目录
- 设置输入路径:本地项目对应的输入文件设置为输入路径。
图7 设置输入路径
在输入框选择输入数据所在的路径,如图9所示。
图8 填写训练输入路径
选择挂载SFS路径时,下拉框只显示有权限的SFS路径,显示“只读”的文件夹只支持只读功能,不显示的读写均支持。可参考权限管理文档修改SFS Turbo权限。
- 设置训练输出路径:新建“output”文件夹设置为输出。(如果本地有output文件夹,无需新建)
只有文件夹下才支持新建文件夹,除项目根目录以外,其他文件夹需展开才能添加文件夹。
图10 新建文件夹
这里用output作为举例,文件夹名需与项目真实输出文件名一致。
图11 设为输出路径
图12 输出设置完成
- 填写启动命令,提交作业。
- 在作业列表单击作业名称进入作业详情。