PyTorch

Princípio de inicialização do PyTorch

Especificações e número de nós

Neste caso, GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB é usada como exemplo para descrever como alocar recursos de ModelArts para trabalhos de nó único e distribuídos.

Para um trabalho de nó único (executado em apenas um nó), o ModelArts inicia um contêiner de treinamento que usa exclusivamente os recursos no nó.

Para um trabalho distribuído (executando em mais de um nó), há tantos workers quanto os nós selecionados durante a criação do trabalho. Cada worker é alocado com os recursos de computação da especificação selecionada. Por exemplo, existem 2 nós de computação, dois workers serão iniciados e cada worker possui os recursos de computação de GPU: 8 × NVIDIA-V100 | CPU: 72 cores | Memory: 512 GB.

Comunicação de rede

• Para um trabalho de nó único, nenhuma comunicação de rede é necessária.
• Para um trabalho distribuído, as comunicações de rede são necessárias em nós e entre nós.

Em nós

NVLink e memória compartilhada são usados para comunicação.

Entre os nós

Se houver mais de um nó de computação, o treinamento distribuído do PyTorch será iniciado. A figura a seguir mostra as comunicações de rede entre workers no treinamento distribuído do PyTorch. Os workers podem se comunicar usando a rede de contêineres e um InfiniBand de 100 Gbit/s ou NIC de RoCE. NICs de RoCE são descritas especificamente para determinadas especificações. Os contêineres podem se comunicar por meio de nomes de domínio do DNS, o que é adequado para comunicação ponto a ponto em pequena escala que exige desempenho médio da rede. As NICs de InfiniBand e RoCE são adequados para trabalhos de treinamento distribuídos usando comunicação coletiva que exigem rede de alto desempenho.

Figura 1 Comunicações de rede para treinamento distribuído

Comandos de inicialização

O serviço de treinamento usa o interpretador python padrão na imagem do trabalho para iniciar o script de treinamento. Para obter o interpretador python, execute o comando which python. O diretório de trabalho durante a inicialização é /home/ma-user/user-job-dir/<The code directory name>, que é o diretório retornado executando pwd ou os.getcwd() em python.

• Comando de inicialização para nó único de placa única

  python <Relative path of the startup file> <Job parameters>

  • Relative path of the startup file: caminho do arquivo de inicialização relativo a /home/ma-user/user-job-dir/<The code directory name>
  • Job parameters: parâmetros configurados para um trabalho de treinamento
  Figura 2 Criar um trabalho de treinamento
  

  Configure os parâmetros consultando a figura acima. Em seguida, execute o seguinte comando no fundo do console:

  python /home/ma-user/modelarts/user-job-dir/gpu-train/train.py --epochs 5

• Comando de inicialização para nó único de multi placa

  python <Relative path of the startup file> --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" <Job parameters>

  • Relative path of the startup file: caminho do arquivo de inicialização relativo a /home/ma-user/user-job-dir/<The code directory name>
  • ${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}: nome de domínio do contêiner onde o worker-0 está localizado. Para obter detalhes, consulte Variáveis de ambiente padrão.
  • port: porta de comunicação padrão do contêiner em que o work-0 está localizado
  • Job parameters: parâmetros configurados para um trabalho de treinamento
  Figura 3 Criar um trabalho de treinamento
  

  Configure os parâmetros consultando a figura acima. Em seguida, execute o seguinte comando no fundo do console:

  python /home/ma-user/modelarts/user-job-dir/gpu-train/train.py --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" --epochs 5

• Comando de inicialização para vários nós de multi-placa

  python <Relative path of the startup file> --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" --rank <rank_id> --world_size <node_num> <Job parameters>

  • Relative path of the startup file: caminho do arquivo de inicialização relativo a /home/ma-user/user-job-dir/<The code directory name>
  • ${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}: nome de domínio do contêiner onde o worker-0 está localizado. Para obter detalhes, consulte Variáveis de ambiente padrão.
  • port: porta de comunicação padrão do contêiner em que o work-0 está localizado
  • rank: número de série do worker
  • node_num: número de workers
  • Job parameters: parâmetros configurados para um trabalho de treinamento
  Figura 4 Criar um trabalho de treinamento
  

  Configure os parâmetros consultando a figura acima. Em seguida, execute o seguinte comando no fundo do console:

  python /home/ma-user/modelarts/user-job-dir/gpu-train/train.py --init_method "tcp://${MA_VJ_NAME}-${MA_TASK_NAME}-0.${MA_VJ_NAME}:${port}" --rank "${rank_id}" --world_size "${node_num}" --epochs 5