Selección de almacenamiento en DevEnviron

EVS

Exploración de datos y algoritmos solo en el entorno de desarrollo.

Las SSD de almacenamiento en bloque ofrecen un mejor rendimiento general de E/S que NFS. La capacidad de almacenamiento se puede ampliar dinámicamente hasta 4096 GB.

Como almacenamiento persistente, los discos de EVS se montan en /home/ma-user/work. Los datos de este directorio se conservan después de detener la instancia. La capacidad de almacenamiento se puede ampliar en línea según la demanda.

Este tipo de almacenamiento solo se puede utilizar en un único entorno de desarrollo.

PFS

NOTA:

PFS es una función en la lista blanca. Para utilizar esta función, póngase en contacto con el soporte técnico de Huawei.

Buckets de PFS montados como almacenamiento persistente para el desarrollo y la exploración de IA.

- Almacenamiento para conjuntos de datos. Los conjuntos de datos se montan directamente en los notebooks para navegar y procesar datos y se pueden utilizar directamente durante el entrenamiento. Para obtener más detalles, véase ¿Cómo puedo cargar datos en OBS?

Una vez ejecutada la instancia, el sistema de archivos paralelo de OBS que transporta los conjuntos de datos se monta dinámicamente en los notebook. Para obtener más detalles, véase Montaje dinámico de un sistema de archivos paralelo de OBS.

2. Almacenamiento para código. Después de la depuración en una instancia de notebook, especifique la ruta de OBS como la ruta de código para iniciar el entrenamiento, facilitando la modificación temporal.

- Almacenamiento para el entrenamiento de comprobación. Monte el almacenamiento en la ruta de salida de entrenamiento, como la ruta a los logs de entrenamiento. De esta manera, vea y compruebe el entrenamiento en la instancia del notebook en tiempo real. Esto es especialmente adecuado para analizar la salida de trabajos entrenados con TensorBoard o notebook.

PFS es un sistema de archivos de almacenamiento de objetos de alto rendimiento optimizado con bajos costos de almacenamiento y gran rendimiento. Puede procesar rápidamente cargas de trabajo de cómputo de alto rendimiento (HPC). Se recomienda el montaje en PFS si se utiliza OBS.

NOTA:

Empaquete o divida los datos que se van a cargar en 128 MB o 64 MB. Descargue y descomprima los datos en el almacenamiento local para obtener un mejor E/S y rendimiento.

Debido al rendimiento promedio en la lectura y escritura frecuente de archivos pequeños, el almacenamiento de PFS no es adecuado para el entrenamiento de modelos grandes o la descompresión de archivos.

NOTA:

Antes de montar el almacenamiento de PFS en una instancia de notebook, otorgue a ModelArts permisos completos de lectura y escritura en el bucket de PFS. La política se conservará incluso después de eliminar la instancia del notebook.

OBS

NOTA:

OBS es una función en la lista blanca. Para utilizar esta función, póngase en contacto con el soporte técnico de Huawei.

Al cargar o descargar una gran cantidad de datos en el entorno de desarrollo, puede utilizar bucket de OBS para transferir datos.

Bajo coste de almacenamiento y alto throughput, pero rendimiento medio en la lectura y escritura de archivos pequeños. Es una buena práctica empaquetar o dividir el archivo en 128 MB o 64 MB. De este modo, puede descargar los paquetes, descomprimirlos y utilizarlos localmente.

La semántica del almacenamiento de objetos es diferente de la semántica de Posix y debe comprenderse mejor.

SFS

Disponible solo en los grupos de recursos dedicados. Utilice el almacenamiento de SFS en escenarios de producción informal, como exploración y experimentos. Se puede montar un dispositivo de SFS tanto en un entorno de desarrollo como en un entorno de entrenamiento. De esta manera, no es necesario descargar datos cada vez que comienza su trabajo de entrenamiento. Este tipo de almacenamiento no es adecuado para los entrenamientos intensivos de E/S en más de 32 tarjetas.

SFS se implementa como NFS y se puede compartir entre múltiples entornos de desarrollo y entre entornos de desarrollo y entrenamiento. Este tipo de almacenamiento se prefiere para trabajos de entrenamiento distribuidos no pesados, especialmente para aquellos que no requieren descargar datos adicionalmente cuando comienzan los trabajos de entrenamiento.

El rendimiento del almacenamiento de SFS no es tan bueno como el del almacenamiento de EVS.

Local storage

La opción primera para los trabajos de entrenamiento intensivos.

SSD de alto rendimiento para la VM o BMS de destino, con un alto rendimiento de E/S de archivos. Para trabajos de entrenamiento de trabajo pesado, almacene datos en el directorio de destino y, a continuación, inicie el entrenamiento.

De forma predeterminada, el almacenamiento se monta en el directorio /cache. Para obtener detalles sobre el espacio disponible del directorio /cache, véase ¿Cuáles son los tamaños de los directorios /cache para diferentes especificaciones de notebook en DevEnviron?.

El ciclo de vida del almacenamiento está asociado con el ciclo de vida del contenedor. Los datos deben descargarse cada vez que comienza el trabajo de entrenamiento.