Carga de un archivo local más de 5 GB a JupyterLab
Un archivo superior a 5 GB no se puede cargar directamente en JupyterLab.
Para cargar los archivos de más de 5 GB, cárguelos en OBS. A continuación, invoque a las API de MoXing o en el SDK en ModelArts en la instancia del notebook de destino para leer y escribir los archivos en OBS.
El procedimiento es el siguiente:
- Cargue el archivo desde una ruta local a OBS. Para obtener más detalles, véase Carga de un objeto.
- Descargue el archivo desde OBS a la instancia del notebook invocando a las API en el SDK o de MoXing en ModelArts.
- Método 1: Invocar al SDK de ModelArts para descargar un archivo de OBS.
1 2 3
from modelarts.session import Session session = Session() session.obs.copy("obs://bucket-name/obs_file.txt","/home/ma-user/work/")
- Método 2: Invocar a la API de MoXing de ModelArts para leer un archivo de OBS.
import moxing as mox # Download the OBS folder sub_dir_0 from OBS to a notebook instance. mox.file.copy_parallel('obs://bucket_name/sub_dir_0', '/home/ma-user/work/sub_dir_0') # Download the OBS file obs_file.txt from OBS to a notebook instance. mox.file.copy('obs://bucket_name/obs_file.txt', '/home/ma-user/work/obs_file.txt')
Si se descarga un archivo .zip, ejecute el comando siguiente en el terminal para descomprimir el paquete:
unzip xxx.zip # Directly decompress the package in the path where the package is stored.
Una vez ejecutado el código, abra el terminal mostrado en Figura 3 y ejecute el comando ls /home/ma-user/work para ver el archivo descargado en la instancia de notebook. También puede ver el archivo descargado en el panel de navegación izquierdo de Jupyter. Si no se muestra el archivo, actualice la página.
Figura 4 Archivo descargado a una instancia de notebook
- Método 1: Invocar al SDK de ModelArts para descargar un archivo de OBS.
Manejo de errores
Si descarga un archivo de OBS a la instancia de su notebook y el sistema muestra el mensaje de error "Permission denied", realice las siguientes operaciones para solucionar problemas:
- Asegúrese de que el bucket de OBS y la instancia del notebook de destino estén en la misma región. Si el bucket de OBS y la instancia de notebook están en diferentes regiones, se deniega el acceso a OBS.
- Asegúrese de que la cuenta del notebook tenga permiso para leer datos en el bucket de OBS.
Para obtener más detalles, véase Ruta de OBS incorrecta en ModelArts.