PyTorch

Principio de inicio de PyTorch

Especificaciones y número de nodos

En este caso, se utiliza GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB como ejemplo para describir cómo asignar recursos de ModelArts para trabajos de nodo singular y distribuidos.

Para un trabajo de nodo singular (que solo se ejecuta en un nodo), ModelArts inicia un contenedor de entrenamiento que utiliza exclusivamente los recursos del nodo.

Para un trabajo distribuido (que se ejecuta en más de un nodo), hay tantos trabajadores como nodos que se seleccionan durante la creación del trabajo. A cada trabajador se le asignan los recursos de cómputo de la especificación seleccionada. Por ejemplo, hay 2 nodos de cómputo, se iniciarán dos trabajadores y cada trabajador posee los recursos de cómputo de GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB.

Comunicación de red

• Para un trabajo de nodo singular, no se requiere la comunicación de red.
• Para un trabajo distribuido, se requieren comunicaciones de red dentro de los nodos y entre nodos.

Dentro de los nodos

Se utilizan NVLink y la memoria compartida para la comunicación.

Entre los nodos

Si hay más de un nodo de cómputo, se iniciará el entrenamiento distribuido de PyTorch. La siguiente figura muestra las comunicaciones de red entre los trabajadores en el entrenamiento distribuido de PyTorch. Los trabajadores pueden comunicarse entre sí por la red de contenedores y una NIC de 100 Gbit/s de InfiniBand o de RoCE. Las NIC de RoCE se describen específicamente para ciertas especificaciones. Los contenedores pueden comunicarse con nombres de dominio de DNS, lo que es adecuado para la comunicación punto a punto a pequeña escala que requiere un rendimiento de red medio. Las NIC de InfiniBand y de RoCE son adecuadas para trabajos de entrenamiento distribuidos mediante comunicación colectiva que requieren una red de alto rendimiento.

Figura 1 Comunicaciones de red para el entrenamiento distribuido

Comandos de arranque

El servicio de entrenamiento utiliza el intérprete de python predeterminado en la imagen del trabajo para iniciar el script de entrenamiento. Para obtener el intérprete de python, ejecute el comando which python. El directorio de trabajo durante el inicio es /home/ma-user/user-job-dir/<The code directory name>, que es el directorio devuelto al ejecutar pwd u os.getcwd() en python.

• Comando de arranque para la tarjeta única del nodo singular

  python <Relative path of the startup file> <Job parameters>

  • Relative path of the startup file: ruta del archivo de inicio relativo a /home/ma-user/user-job-dir/<The code directory name>
  • Job parameters: Parámetros configurados para un trabajo de entrenamiento
  Figura 2 Creación de un trabajo de entrenamiento
  

  Configure los parámetros de acuerdo con la figura anterior. Luego, ejecute el siguiente comando en segundo plano de la consola:

  python /home/ma-user/modelarts/user-job-dir/gpu-train/train.py --epochs 5

• Comando de arranque para múltiples tarjetas del nodo singular

  python <Relative path of the startup file> --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" <Job parameters>

  • Relative path of the startup file: ruta del archivo de inicio relativo a /home/ma-user/user-job-dir/<The code directory name>
  • ${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}: nombre de dominio del contenedor donde se encuentra el worker-0. Para obtener más información, véase Variables de entorno predeterminadas.
  • port: puerto de comunicación predeterminado del contenedor donde se encuentra el worker-0
  • Job parameters: parámetros configurados para un trabajo de entrenamiento
  Figura 3 Creación de un trabajo de entrenamiento
  

  Configure los parámetros de acuerdo con la figura anterior. Luego, ejecute el siguiente comando en segundo plano de la consola:

  python /home/ma-user/modelarts/user-job-dir/gpu-train/train.py --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" --epochs 5

• Comando de arranque para múltiples tarjetas de múltiples nodos

  python <Relative path of the startup file> --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" --rank <rank_id> --world_size <node_num> <Job parameters>

  • Relative path of the startup file: ruta del archivo de inicio relativo a /home/ma-user/user-job-dir/<The code directory name>
  • ${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}: nombre de dominio del contenedor donde se encuentra el worker-0. Para obtener más información, véase Variables de entorno predeterminadas.
  • port: puerto de comunicación predeterminado del contenedor donde se encuentra el worker-0
  • rank: número de serie del trabajador
  • node_num: número de trabajadores
  • Job parameters: parámetros configurados para un trabajo de entrenamiento
  Figura 4 Creación de un trabajo de entrenamiento
  

  Configure los parámetros de acuerdo con la figura anterior. Luego, ejecute el siguiente comando en segundo plano de la consola:

  python /home/ma-user/modelarts/user-job-dir/gpu-train/train.py --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" --rank "${rank_id}" --world_size "${node_num}" --epochs 5