Trabalhos de visualização do MindInsight
Notebook do ModelArts da nova versão suporta trabalhos de visualização do MindInsight. Em um ambiente de desenvolvimento, use um pequeno conjunto de dados para treinar e depurar um algoritmo. Isso é usado para verificar a convergência do algoritmo e detectar problemas de treinamento, facilitando a depuração.
O MindInsight visualiza informações como escalares, imagens, gráficos computacionais e hiperparâmetros do modelo durante o treinamento. Ele também fornece funções como painel de treinamento, linhagem de modelos, linhagem de dados e depuração de desempenho, ajudando você a treinar e depurar modelos com eficiência. O MindInsight oferece suporte a trabalhos de treinamento de MindSpore. Para mais informações sobre o MindInsight consulte o site oficial do MindSpore.
O MindSpore permite que você salve dados no arquivo de log de resumo e obtenha os dados na GUI do MindInsight.
Pré-requisitos
Ao usar o MindSpore para editar um script de treinamento, adicione o código para coletar o registro de resumo ao script para garantir que o arquivo de resumo seja gerado no resultado do treinamento.
Para obter detalhes, consulte Coleta de registro de resumo.
Observação
- Para executar um trabalho de treinamento do MindInsight em um ambiente de desenvolvimento, inicie o MindInsight e o processo de treinamento.
- Somente o treinamento em uma placa de nó único é suportada.
- Um trabalho de visualização em execução não é cobrado separadamente. Quando a instância de notebook de destino é interrompida, o faturamento é interrompido.
- Se o arquivo de resumo estiver armazenado no OBS, o armazenamento do OBS será cobrado separadamente. Após a conclusão de um trabalho, interrompa a instância do notebook e limpe os dados do OBS para interromper o faturamento.
Criar um trabalho de visualização do MindInsight em um ambiente de desenvolvimento
Etapa 1 Criar um ambiente de desenvolvimento e acesse-o on-line
Etapa 1 Criar um ambiente de desenvolvimento e acesse-o on-line
Faça logon no console de gerenciamento do ModelArts, escolha DevEnviron > Notebook e crie uma instância de ambiente de desenvolvimento para o mecanismo MindSpore. Depois que a instância for criada, clique em Open na coluna Operation da instância para acessá-la on-line.
- MindSpore 2.0 (CPU ou GPU)
- MindSpore 1.5.x ou posterior (Ascend)
Etapa 2 Carregar os dados de resumo
Os dados de resumo são necessários para a visualização do MindInsight em um ambiente de desenvolvimento.
Carregue os dados de resumo para o diretório /home/ma-user/work/ em um ambiente de desenvolvimento ou armazene-os em um sistema de arquivos paralelo do OBS.
- Para obter detalhes sobre como carregar os dados de resumo para /home/ma-user/work/, consulte Upload de arquivos para JupyterLab.
- Para armazenar os dados de resumo em um sistema de arquivos paralelo do OBS montado em uma instância de notebook, carregue o arquivo de resumo gerado durante o treinamento do modelo no sistema de arquivos paralelo do OBS e verifique se o sistema de arquivos paralelo do OBS e o ModelArts estão na mesma região. Quando o MindInsight é iniciado em uma instância de notebook, ela lê automaticamente os dados de resumo do sistema de arquivos paralelo do OBS montado.
Etapa 3 Iniciar o MindInsight
Escolha uma maneira que você gostaria de iniciar o MindInsight no JupyterLab.
Método 1
- Clique em
para ir para o ambiente de desenvolvimento do JupyterLab. Um arquivo IPYNB será criado automaticamente. - Insira o seguinte comando na caixa de diálogo:
%reload_ext mindinsight %mindinsight --port {PORT} --summary-base-dir {SUMMARY_BASE_DIR}Parâmetros:
- port {PORT}: porta de serviço Web para visualização, cujo padrão é 8080. Se a porta padrão 8080 tiver sido usada, especifique uma porta de 1 a 65535.
- summary-base-dir{SUMMARY_BASE_DIR}: caminho de armazenamento de dados no ambiente de desenvolvimento
- Caminho local para o ambiente de desenvolvimento: ./work/xxx (caminho relativo) ou /home/ma-user/work/xxx (caminho absoluto)
- Caminho para o bucket do sistema de arquivos paralelo do OBS: obs://xxx/
For example: # If the summary data is stored in /home/ma-user/work/ of a development environment, run the following command: %mindinsight --summary-base-dir /home/ma-user/work/xxx Or # If the summary data is stored in an OBS parallel file system, run the following command. Then, the development environment will automatically mount the storage path to the OBS parallel file system and read data from the path. %mindinsight --summary-base-dir obs://xxx/
Figura 2 Página do MindInsight (1)
Método 2
Clique em 
para ir para a página do MindInsight.
Os dados são lidos de /home/ma-user/work/ por padrão.
Se houver dois projetos ou mais, selecione o projeto de destino para exibir seus logs.
Método 3
- Escolha View > Activate Command Palette, insira MindInsight na caixa de pesquisa e clique em Create a new MindInsight.
Figura 4 Criar um novo MindInsight
- Insira o caminho para os dados de resumo ou o caminho de armazenamento para o sistema de arquivos paralelo do OBS e clique em CREATE.
- Caminho local para o ambiente de desenvolvimento: ./summary (caminho relativo) ou /home/ma-user/work/summary (caminho absoluto)
- Caminho para o sistema de arquivos paralelo do OBS: obs://xxx/
Figura 5 Caminho para os dados de resumo
Figura 6 Página do MindInsight (3)
Um máximo de 10 instâncias do MindInsight podem ser iniciadas usando o método 2 ou 3.
Método 4
Clique em 
e execute o seguinte comando (a IU não será exibida):
mindinsight start --summary-base-dir ./summary_dir
Etapa 4 Exibir dados Visualizados no painel de treinamento
O painel de treinamento é importante para a visualização do MindInsight. Permite a visualização de escalares, distribuição de parâmetros, grafos computacionais, grafos de conjunto de dados, imagens e tensores.
Para obter mais informações, consulte Visualização do painel de treinamento no site oficial do MindSpore.
Operações relacionadas
Para interromper uma instância do MindInsight, use um dos seguintes métodos:
- Método 1: digite o seguinte comando na janela do arquivo .ipynb do JupyterLab em que o número da porta é configurado no Iniciar MindInsight (8080 por padrão):
!mindinsight stop --port 8080
- Método 2: clique em
. A página de gerenciamento de instâncias do MindInsight é exibida, mostrando todas as instâncias do MindInsight iniciadas. Clique em SHUT DOWN ao lado da instância de destino para interrompê-la.
Figura 8 Interrupção de uma instância
- Método 3: clique em
na figura a seguir para fechar todas as instâncias do MindInsight iniciadas.
Figura 9 Interromper todas as instâncias de MindInsight iniciadas
- Método 4 (não recomendado): feche a janela do MindInsight no JupyterLab. Dessa forma, apenas a janela de visualização é fechada, mas a instância ainda está em execução no back-end.
