Horovod/MPI/MindSpore-GPU

Princípio de inicialização de Horovod/MPI/MindSpore-GPU

Especificações e número de nós

Neste caso, GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB é usada como exemplo para descrever como alocar recursos de ModelArts para trabalhos de nó único e distribuídos.

Para um trabalho de nó único (executado em apenas um nó), o ModelArts inicia um contêiner de treinamento que usa exclusivamente os recursos no nó.

Para um trabalho distribuído (executando em mais de um nó), há tantos workers quanto os nós selecionados durante a criação do trabalho. Cada worker é alocado com os recursos de computação da especificação selecionada. Por exemplo, se houver 2 nós de computação, dois workers serão iniciados e cada worker possui os recursos de computação de GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB.

Comunicação de rede

• Para um trabalho de nó único, nenhuma comunicação de rede é necessária.
• Para um trabalho distribuído, as comunicações de rede são necessárias em nós e entre nós.

Em nós

NVLink e memória compartilhada são usados para comunicação.

Entre os nós

Se houver mais de um nó de computação, o treinamento distribuído do PyTorch será iniciado. A figura a seguir mostra as comunicações de rede entre workers no treinamento distribuído do PyTorch. Os workers podem se comunicar usando a rede de contêineres e uma NIC de InfiniBand ou de RoCE de 100 Gbit/s. NICs de RoCE são descritas especificamente para determinadas especificações. Os contêineres podem se comunicar por meio de nomes de domínio do DNS, o que é adequado para comunicação ponto a ponto em pequena escala que exige desempenho médio da rede. As NICs de InfiniBand e RoCE são adequados para trabalhos de treinamento distribuídos usando comunicação coletiva que exigem rede de alto desempenho.

Figura 1 Comunicações de rede para treinamento distribuído

Comandos de inicialização

Por padrão, o serviço de treinamento usa o interpretador python na imagem do trabalho para iniciar o script de treinamento. Para obter o interpretador python, execute o comando which python. O diretório de trabalho durante a inicialização é /home/ma-user/user-job-dir/<The code directory name>, que é o diretório retornado executando pwd ou os.getcwd() em python.

Comandos de inicialização

mpirun \        
-np ${OPENMPI_NP} \       
-hostfile ${OPENMPI_HOST_FILE_PATH} \        
-mca plm_rsh_args "-p ${SSHD_PORT}" \        
-tune ${TUNE_ENV_FILE} \        
${OPENMPI_BIND_ARGS} \        
${OPENMPI_X_ARGS} \        
${OPENMPI_MCA_ARGS} \        
${OPENMPI_EXTRA_ARGS} \        
python <Relative path of the startup file> <Job parameters>

• OPENMPI_NP: número de processos iniciados pelo mpirun. O valor padrão é o número de GPUs multiplicado pelo número de nós. Não modifique este valor.
• OPENMPI_HOST_FILE_PATH: valor do hostfile. Não modifique este valor.
• SSHD_PORT: porta para logon SSH. Não modifique este valor.
• TUNE_ENV_FILE: variáveis de ambiente de work-0. Transmita as seguintes variáveis de ambiente para outros nós de trabalho do trabalho de treinamento atual.
  • env com o prefixo MA_
  • env com o prefixo SHARED_
  • env com o prefixo S3_
  • env de PATH
  • env com o prefixo VC_WORKER_
  • env com o prefixo SCC
  • env com o prefixo CRED

    env|grep -E '^MA_|^SHARED_|^S3_|^PATH|^VC_WORKER_|^SCC|^CRED'|grep -v '=$'> ${TUNE_ENV_FILE}
• OPENMPI_BIND_ARGS: processo de pinning com o comando mpirun cpu. As configurações padrão são as seguintes:

  OPENMPI_BIND_ARGS="-bind-to none -map-by slot"
• OPENMPI_X_ARGS: parâmetros -x do comando mpirun. As configurações padrão são as seguintes:

  OPENMPI_X_ARGS="-x LD_LIBRARY_PATH -x HOROVOD_MPI_THREADS_DISABLE=1 -x NCCL_DEBUG=INFO -x NCCL_SOCKET_IFNAME=ib0,bond0,eth0 -x NCCL_SOCKET_FAMILY=AF_INET -x NCCL_IB_DISABLE=0"
• OPENMPI_X_ARGS: parâmetros -mca do comando mpirun. As configurações padrão são as seguintes:

  OPENMPI_MCA_ARGS="-mca pml ob1 -mca btl ^openib -mca plm_rsh_no_tree_spawn true"
• OPENMPI_EXTRA_ARGS: parâmetros passados para o mpirun. O valor padrão está vazio.
• Relative path of the startup file: caminho do arquivo de inicialização relativo a /home/ma-user/user-job-dir/<The code directory name>
• Job parameters: parâmetros em execução de configurados para um trabalho de treinamento

Figura 2 Criar um trabalho de treinamento

Configure os parâmetros consultando a figura acima. Em seguida, execute o seguinte comando no fundo do console:

mpirun \        
-np ${np} \        
-hostfile ${OPENMPI_HOST_FILE_PATH} \        
-mca plm_rsh_args "-p ${SSHD_PORT}" \        
-tune ${TUNE_ENV_FILE} \        
${OPENMPI_BIND_ARGS} \        
${OPENMPI_X_ARGS} \        
${OPENMPI_MCA_ARGS} \        
${OPENMPI_EXTRA_ARGS} \        
python /home/ma-user/user-job-dir/gpu-train/train.py --datasets=obs://modelarts-train-test/gpu-train/data_url_0