Horovod/MPI/MindSpore-GPU

Principio de arranque de Horovod/MPI/MindSpore-GPU

Especificaciones y número de nodos

En este caso, se utiliza GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB como ejemplo para describir cómo asignar recursos de ModelArts para trabajos de nodo singular y distribuidos.

Para un trabajo de nodo singular (que solo se ejecuta en un nodo), ModelArts inicia un contenedor de entrenamiento que utiliza exclusivamente los recursos del nodo.

Para un trabajo distribuido (que se ejecuta en más de un nodo), hay tantos trabajadores como nodos que se seleccionan durante la creación del trabajo. A cada trabajador se le asignan los recursos de cómputo de la especificación seleccionada. Por ejemplo, si hay 2 nodos de cómputo, se iniciarán dos trabajadores y cada trabajador posee los recursos de cómputo de GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB.

Comunicación de red

• Para un trabajo de nodo singular, no se requiere la comunicación de red.
• Para un trabajo distribuido, se requieren comunicaciones de red dentro de los nodos y entre nodos.

Dentro de los nodos

Se utilizan NVLink y la memoria compartida para la comunicación.

Entre los nodos

Si hay más de un nodo de cómputo, se iniciará el entrenamiento distribuido de PyTorch. La siguiente figura muestra las comunicaciones de red entre los trabajadores en el entrenamiento distribuido de PyTorch. Los trabajadores pueden comunicarse entre sí por la red de contenedores y una NIC de 100 Gbit/s de InfiniBand o de RoCE. Las NIC de RoCE se describen específicamente para ciertas especificaciones. Los contenedores pueden comunicarse con nombres de dominio de DNS, lo que es adecuado para la comunicación punto a punto a pequeña escala que requiere un rendimiento de red medio. Las NIC de InfiniBand y de RoCE son adecuadas para trabajos de entrenamiento distribuidos mediante comunicación colectiva que requieren una red de alto rendimiento.

Figura 1 Comunicaciones de red para el entrenamiento distribuido

Comandos de arranque

De forma predeterminada, el servicio de entrenamiento utiliza el intérprete de Python en la imagen del trabajo para iniciar el script de entrenamiento. Para obtener el intérprete python, ejecute el comando which python. El directorio de trabajo durante el inicio es /home/ma-user/user-job-dir/<The code directory name>, que es el directorio devuelto al ejecutar pwd u os.getcwd() en python.

Comandos de arranque

mpirun \        
-np ${OPENMPI_NP} \       
-hostfile ${OPENMPI_HOST_FILE_PATH} \        
-mca plm_rsh_args "-p ${SSHD_PORT}" \        
-tune ${TUNE_ENV_FILE} \        
${OPENMPI_BIND_ARGS} \        
${OPENMPI_X_ARGS} \        
${OPENMPI_MCA_ARGS} \        
${OPENMPI_EXTRA_ARGS} \        
python <Relative path of the startup file> <Job parameters>

• OPENMPI_NP: número de procesos iniciados por mpirun. El valor predeterminado es el número de GPU multiplicado por el número de nodos. No modifique este valor.
• OPENMPI_HOST_FILE_PATH: valor de hostfile. No modifique este valor.
• SSHD_PORT: Puerto para el inicio de sesión de SSH. No modifique este valor.
• TUNE_ENV_FILE: variables de entorno del worker-0. Transmita las siguientes variables de entorno a otros nodos de trabajo del trabajo de entrenamiento actual.
  • env con el prefijo MA_
  • env con el prefijo SHARED_
  • env con el prefijo S3_
  • env de PATH
  • env con el prefijo VC_WORKER_
  • env con el prefijo SCC
  • env con el prefijo CRED

    env|grep -E '^MA_|^SHARED_|^S3_|^PATH|^VC_WORKER_|^SCC|^CRED'|grep -v '=$'> ${TUNE_ENV_FILE}

• OPENMPI_BIND_ARGS: anclar el proceso con el comando mpirun cpu. La configuración predeterminada es la siguiente:

  OPENMPI_BIND_ARGS="-bind-to none -map-by slot"

• OPENMPI_X_ARGS: -x los parámetros del comando mpirun. La configuración predeterminada es la siguiente:

  OPENMPI_X_ARGS="-x LD_LIBRARY_PATH -x HOROVOD_MPI_THREADS_DISABLE=1 -x NCCL_DEBUG=INFO -x NCCL_SOCKET_IFNAME=ib0,bond0,eth0 -x NCCL_SOCKET_FAMILY=AF_INET -x NCCL_IB_DISABLE=0"

• OPENMPI_X_ARGS: -mca los parámetros del comando mpirun. La configuración predeterminada es la siguiente:

  OPENMPI_MCA_ARGS="-mca pml ob1 -mca btl ^openib -mca plm_rsh_no_tree_spawn true"

• OPENMPI_EXTRA_ARGS: parámetros pasados a mpirun. El valor predeterminado es vacío.
• Relative path of the startup file: ruta del archivo de inicio relativo a /home/ma-user/user-job-dir/<The code directory name>
• Job parameters: parámetros de ejecución configurados para un trabajo de entrenamiento

Figura 2 Creación de un trabajo de entrenamiento

Configure los parámetros de acuerdo con la figura anterior. Luego, ejecute el siguiente comando en segundo plano de la consola:

mpirun \        
-np ${np} \        
-hostfile ${OPENMPI_HOST_FILE_PATH} \        
-mca plm_rsh_args "-p ${SSHD_PORT}" \        
-tune ${TUNE_ENV_FILE} \        
${OPENMPI_BIND_ARGS} \        
${OPENMPI_X_ARGS} \        
${OPENMPI_MCA_ARGS} \        
${OPENMPI_EXTRA_ARGS} \        
python /home/ma-user/user-job-dir/gpu-train/train.py --datasets=obs://modelarts-train-test/gpu-train/data_url_0