更新时间:2024-08-14 GMT+08:00

在PyCharm中上传数据至Notebook

不大于500MB数据量,直接复制至本地IDE中即可。

大于500MB数据量,请先上传到OBS中,再从OBS上传到云上开发环境。

  1. 上传数据至OBS,具体操作请参见上传文件至OBS桶
  2. 将OBS中的数据传至Notebook中,通过在本地IDE的Terminal中使用ModelArts提供的Moxing库的文件操作API(mox.file.copy_parallel)完成。
图1 数据通过OBS中转上传到Notebook

下图以PyCharm环境中开启Terminal为例,VS Code中操作类似。

图2 PyCharm环境开启Terminal

在本地IDE的Terminal中使用Moxing下载OBS文件到开发环境的操作示例如下:

#手动source进入开发环境
cat /home/ma-user/README
#然后选择要source的环境
source /home/ma-user/miniconda3/bin/activate MindSpore-python3.7-aarch64
#输入python并回车,进入python环境
python
#使用moxing
import moxing as mox  
#下载一个OBS文件夹,从OBS下载至EVS(OBS -> EVS) 
mox.file.copy_parallel('obs://bucket_name/sub_dir_0', '/tmp/sub_dir_0')