更新时间:2024-08-16 GMT+08:00
分享

使用PyCharm上传数据至Notebook

不大于500MB数据量,直接复制至本地IDE中即可。

大于500MB数据量,请先上传到OBS中,再从OBS下载到云上Notebook。

图1 数据通过OBS中转上传到Notebook
  1. 上传数据至OBS,具体操作请参见上传文件至OBS桶
  2. 将OBS中的数据传至Notebook中,通过在本地IDE的Terminal中使用ModelArts提供的Moxing库的文件操作API(mox.file.copy_parallel)完成。
    1. 在PyCharm环境中开启Terminal,VS Code中操作类似。
      图2 PyCharm环境开启Terminal
    2. 在本地IDE的Terminal中使用Moxing上传OBS文件到Notebook的操作示例如下:
      #手动source进入开发环境
      cat /home/ma-user/README
      #然后选择要source的环境
      source /home/ma-user/miniconda3/bin/activate MindSpore-python3.7-aarch64
      #输入python并回车,进入python环境
      python
      #使用moxing
      import moxing as mox  
      #下载一个OBS文件夹,从OBS下载至EVS(OBS -> EVS) 
      mox.file.copy_parallel('obs://bucket_name/sub_dir_0', '/tmp/sub_dir_0')  

相关文档