Upload de um arquivo local maior que 5 GB para JupyterLab

Um arquivo com mais de 5 GB não pode ser carregado diretamente para a JupyterLab.

Figura 1 Falhou ao carregar um arquivo com mais de 5 GB

Para carregar de arquivos que excedam 5 GB, carregue-os para o OBS. Em seguida, chame a API do SDK ou MoXing na instância do notebook de destino para ler e gravar os arquivos no OBS.

Figura 2 Carregar e baixar arquivos grandes em uma instância de notebook

O procedimento é o seguinte:

1. Carregue o arquivo de um caminho local para o OBS. Para obter detalhes, consulte Upload de um objeto.
2. Baixe o arquivo do OBS para a instância do notebook chamando o SDK do ModelArts ou a API do MoXing.
   • Método 1: chame o SDK do ModelArts para baixar um arquivo do OBS.

     Exemplo de código:

     1 2 3

     from modelarts.session import Session session = Session() session.obs.copy("obs://bucket-name/obs_file.txt","/home/ma-user/work/")

   • Método 2: chame a API do MoXing do ModelArts para ler um arquivo do OBS.

     import moxing as mox
     
     # Download the OBS folder sub_dir_0 from OBS to a notebook instance.
     mox.file.copy_parallel('obs://bucket_name/sub_dir_0', '/home/ma-user/work/sub_dir_0')
     # Download the OBS file obs_file.txt from OBS to a notebook instance.
     mox.file.copy('obs://bucket_name/obs_file.txt', '/home/ma-user/work/obs_file.txt')

     Se um arquivo .zip for baixado, execute o seguinte comando no terminal para descompactar o pacote:

     unzip xxx.zip  # Directly decompress the package in the path where the package is stored.

     Depois que o código for executado, abra o terminal mostrado em Figura 3 e execute o comando ls /home/ma-user/work para exibir o arquivo baixado para a instância do notebook. Como alternativa, visualize o arquivo baixado no painel de navegação esquerdo do Jupyter. Se o arquivo não for exibido, atualize a página.

     Figura 3 Abrir o terminal
     
     Figura 4 Arquivo baixado para uma instância de notebook