文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）/ 准备工作/ 准备Notebook（可选）
更新时间：2024-08-17 GMT+08:00
查看PDF
分享

准备Notebook（可选）

本步骤为可选操作。ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看开发环境介绍。

本案例中，若用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。

创建Notebook

创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。

镜像选择已注册的自定义镜像，资源类型选择创建好的专属资源池，规格推荐选择“Ascend: 8*ascend-snt9b”。

图1 Notebook中选择自定义镜像与规格

云硬盘EVS是Notebook开发环境内存的存储硬盘，作为持久化存储挂载在/home/ma-user/work目录下，该目录下的内容在实例停止后会被保留。可以自定义磁盘空间，若需要存储数据集、模型等大型文件，建议申请规格300GB+。存储支持在线按需扩容。

图2 自定义存储配置

使用Notebook将OBS数据导入云硬盘EVS

打开已创建的Notebook实例，选择Notebook的python-3.9.10，即可编辑Untitled.ipynb文件。编写以下代码，并运行Untitled.ipynb文件（用于将OBS中的数据导入至SFS Turbo）。

import moxing as mox  
#obs存放数据路径 
obs_code_dir= "obs://<bucket_name>/llm_train"
obs_data_dir= "obs://<bucket_name>/training_data"
obs_model_dir= "obs://<bucket_name>/model"
# NoteBook中存放数据路径
local_code_dir= "/home/ma-user/work/llm_train"
local_data_dir= "/home/ma-user/work/training_data"
local_model_dir= "/home/ma-user/work/model"
mox.file.copy_parallel(obs_code_dir,local_code_dir)
mox.file.copy_parallel(obs_data_dir,local_data_dir)
mox.file.copy_parallel(obs_model_dir,local_model_dir)

以此，OBS中的数据已迁移至云硬盘EVS中，并可通过Notebook随时访问并编辑云硬盘EVS中的数据

父主题： 准备工作

相关文档