Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.

Visão geral de serviço
- Infográficos
  - O que é o ModelArts?
- O que é o ModelArts?
- Funções
- Conhecimento básico
- Serviços relacionados
- Como acessar o ModelArts?
- Gerenciamento de permissões
- Segurança
- Cotas
Preparações
- Criação de um ID da HUAWEI e ativação dos serviços da Huawei Cloud
- Logon no console de gerenciamento do ModelArts
- Configuração da autorização de acesso (configuração global)
- Criação de um bucket do OBS
- Ativação de recursos do ModelArts
  - Recursos do ModelArts
  - Pagamento por uso
DevEnviron
- Introdução ao DevEnviron
- Cenários de aplicações
- Gerenciamento de instâncias do notebook
- JupyterLab
- IDE local
- Referência de comandos da CLI do ModelArts
Gerenciamento de recursos
- Pool de recursos
- Cluster elástico
- Logs de auditoria
  - Principais operações gravadas pelo CTS
  - Visualização de logs de auditoria
- Monitoramento de recursos
Contêineres do Docker com ModelArts
- Gerenciamento de imagens
- Uso de uma imagem predefinida
- Uso de imagens personalizadas em instâncias de notebook
- Uso de uma imagem personalizada para treinar modelos (treinamento de modelo)
- Uso de uma imagem personalizada para criar aplicações de IA para implementação de inferência
  - Especificações de imagem personalizada para criar aplicações de IA
  - Criação de uma imagem personalizada e uso dela para criar uma aplicação de IA
- Perguntas frequentes
- Histórico de modificações
Melhores práticas
- Pool de recursos
- Cluster elástico
- Logs de auditoria
  - Principais operações gravadas pelo CTS
  - Visualização de logs de auditoria
- Monitoramento de recursos
No momento, o conteúdo não está disponível no seu idioma selecionado. Consulte a versão em inglês.
What's New
Function Overview
Product Bulletin
- [Notice] Huawei Cloud ModelArts Has Discontinued the Old Version of Training Management
Billing
- Billing Modes
- Billing Item
- Billing Examples
- Changing the Billing Mode
- Renewal
- Bills
- About Arrears
- Stopping Billing
- Cost Management
- Billing FAQs
Getting Started
- How to Use ModelArts
- Using a Custom Algorithm to Build a Handwritten Digit Recognition Model
- Practices for Beginners
ModelArts User Guide (Standard)
- ModelArts Standard Usage
- ModelArts Standard Preparations
- ModelArts Standard Resource Management
- Using ExeML for Zero-Code AI Development
- Using Workflows for Low-Code AI Development
- Development Environments
- Data Management
- Model Training
- Inference Deployment
- Image Management
- Resource Monitoring
- Viewing Audit Logs
  - ModelArts Key Operations Traced by CTS
  - Viewing ModelArts Audit Logs
ModelArts User Guide (Lite Server)
- Before You Start
- Enabling Lite Server Resources
- Configuring Lite Server Resources
- Using Lite Server Resources
  - PyTorch GPU Training and Inference Guide for GPT-2
- Managing Lite Server Resources
ModelArts User Guide (Lite Cluster)
- Before You Start
- Enabling Lite Cluster Resources
- Configuring Lite Cluster Resources
- Using Lite Cluster Resources
- Managing Lite Server Resources
ModelArts User Guide (AI Gallery)
- AI Gallery
- Free Assets
- My Gallery
- Subscription & Use
- Publish & Share
  - Publishing a Free Algorithm
  - Publishing a Free Model
API Reference
- Before You Start
- API Overview
- Calling APIs
- Development Environment Management
- Training Management
- AI Application Management
- App Authentication Management
- Service Management
- Resource Management
- DevServer Management
- Authorization Management
- Managing DevEnviron Instances
  - Querying All Notebook Instances
- Use Cases
- Permissions Policies and Supported Actions
- Common Parameters
- Historical APIs
- Change History
SDK Reference
- Before You Start
- SDK Overview
- Getting Started
- (Optional) Installing the ModelArts SDK Locally
- Session Authentication
- OBS Management
- Data Management
- Training Management (New Version)
  - Training Jobs
  - APIs for Resources and Engine Specifications
    - Obtaining Resource Flavors
    - Obtaining Engine Types
- Training Management (Old Version)
- Model Management
- Service Management
- Change History
FAQs
- General Issues
- Billing
- ExeML (Old Version)
- Data Management (Old Version)
- Notebook (New Version)
- Training Jobs
- Service Deployment
  - Model Management
    - Importing Models
  - Service Deployment
    - Functional Consulting
    - Real-Time Services
- Resource Pools
- API/SDK
- Using PyCharm Toolkit
Troubleshooting
- General Issues
  - Incorrect OBS Path on ModelArts
- ExeML
- DevEnviron
- Training Jobs
- Inference Deployment
- MoXing
- APIs or SDKs
Videos
User Guide (ExeML)
- ExeML (New Version)
- ExeML (Old Version)
Workflows
- MLOps Overview
- What Is Workflow?
- How to Use a Workflow?
- How to Develop a Workflow?
Model Development (To Be Offline)
- Introduction to Model Development
- Preparing Data
- Preparing Algorithms
- Performing a Training
- Advanced Training Operations
- Distributed Training
- Automatic Model Tuning (AutoSearch)
Model Inference (To Be Offline)
- Introduction to Inference
- Managing AI Applications
- Deploying an AI Application as a Service
- Inference Specifications
- ModelArts Monitoring on Cloud Eye
Data Preparation and Analytics
- Introduction to Data Preparation
- Getting Started
- Creating a Dataset
- Importing Data
- Data Analysis and Preview
- Labeling Data
- Publishing Data
- Exporting Data
Data Labeling (To Be Offline)
- Introduction to Data Labeling
- Manual Labeling
- Auto Labeling
  - Creating an Auto Labeling Job
  - Confirming Hard Examples
- Team Labeling
User Guide for Senior AI Engineers (To Be Offline)
- Operation Guide
- Data Management (Old Version to Be Terminated)
- Training Management (Old Version )
- Resource Pools (Old Version to Be Terminated)
- Custom Images
- Permissions Management
  - Creating a User and Granting Permissions
  - Creating a Custom Policy
- Audit Logs
  - Key Operations Recorded by CTS
  - Viewing Audit Logs
- Change History

Nesta página

Exemplos

Mostrar todos

Central de ajuda/ ModelArts/ DevEnviron/ Referência de comandos da CLI do ModelArts/ Uso do comando ma-cli dli-job para enviar um trabalho do Spark de DLI/ Envio de um trabalho do Spark de DLI

Envio de um trabalho do Spark de DLI

Atualizado em 2024-09-14 GMT+08:00

Ver PDF

Execute o comando ma-cli dli-job submit para enviar um trabalho do Spark de DLI

Antes de executar esse comando, configure YAML_FILE para especificar o caminho para o arquivo de configuração do trabalho de destino. Se este parâmetro não for especificado, o arquivo de configuração estará vazio. O arquivo de configuração está no formato YAML e seus parâmetros são o parâmetro option do comando. Se você especificar o arquivo de configuração YAML_FILE e o parâmetro option na CLI, o valor do parâmetro option substituirá isso no arquivo de configuração.

Parâmetros da CLI

ma-cli dli-job submit -h
Usage: ma-cli dli-job submit [OPTIONS] [YAML_FILE]...

  Submit DLI Spark job.

  Example:

  ma-cli dli-job submit  --name test-spark-from-sdk
                          --file test/sub_dli_task.py
                          --obs-bucket dli-bucket
                          --queue dli_test
                          --spark-version 2.4.5
                          --driver-cores 1
                          --driver-memory 1G
                          --executor-cores 1
                          --executor-memory 1G
                          --num-executors 1

Options:
  --file TEXT                    Python file or app jar.
  -cn, --class-name TEXT         Your application's main class (for Java / Scala apps).
  --name TEXT                    Job name.
  --image TEXT                   Full swr custom image path.
  --queue TEXT                   Execute queue name.
  -obs, --obs-bucket TEXT        DLI obs bucket to save logs.
  -sv, --spark-version TEXT      Spark version.
  -st, --sc-type [A|B|C]         Compute resource type.
  --feature [basic|custom|ai]    Type of the Spark image used by a job (default: basic).
  -ec, --executor-cores INTEGER  Executor cores.
  -em, --executor-memory TEXT    Executor memory (eg. 2G/2048MB).
  -ne, --num-executors INTEGER   Executor number.
  -dc, --driver-cores INTEGER    Driver cores.
  -dm, --driver-memory TEXT      Driver memory (eg. 2G/2048MB).
  --conf TEXT                    Arbitrary Spark configuration property (eg. <PROP=VALUE>).
  --resources TEXT               Resources package path.
  --files TEXT                   Files to be placed in the working directory of each executor.
  --jars TEXT                    Jars to include on the driver and executor class paths.
  -pf, --py-files TEXT           Python files to place on the PYTHONPATH for Python apps.
  --groups TEXT                  User group resources.
  --args TEXT                    Spark batch job parameter args.
  -q, --quiet                    Exit without waiting after submit successfully.
  -C, --config-file PATH         Configure file path for authorization.
  -D, --debug                    Debug Mode. Shows full stack trace when error occurs.
  -P, --profile TEXT             CLI connection profile to use. The default profile is "DEFAULT".
  -H, -h, --help                 Show this message and exit.

Pré-visualização do arquivo YAML

# dli-demo.yaml
name: test-spark-from-sdk
file: test/sub_dli_task.py
obs-bucket: ${your_bucket}
queue: dli_notebook 
spark-version: 2.4.5
driver-cores: 1
driver-memory: 1G
executor-cores: 1
executor-memory: 1G
num-executors: 1

## [Optional] 
jars:
  - ./test.jar
  - obs://your-bucket/jars/test.jar
  - your_group/test.jar

## [Optional] 
files:
  - ./test.csv
  - obs://your-bucket/files/test.csv
  - your_group/test.csv

## [Optional] 
python-files:
  - ./test.py
  - obs://your-bucket/files/test.py
  - your_group/test.py

## [Optional] 
resources:
  - name: your_group/test.py
    type: pyFile
  - name: your_group/test.csv
    type: file
  - name: your_group/test.jar
    type: jar
  - name: ./test.py
    type: pyFile
  - name: obs://your-bucket/files/test.py
    type: pyFile

## [Optional]
groups:
  - group1
  - group2

Exemplo de envio de um trabalho do Spark de DLI com options especificadas:

$ ma-cli dli-job submit --name test-spark-from-sdk \
                        --file test/sub_dli_task.py \
                        --obs-bucket ${your_bucket} \
                        --queue dli_test \
                        --spark-version 2.4.5 \
                        --driver-cores 1 \
                        --driver-memory 1G \
                        --executor-cores 1 \
                        --executor-memory 1G \
                        --num-executors 1

**Tabela 1** Descrição
Parâmetro	Tipo	Obrigatório	Descrição
YAML_FILE	String, um caminho de arquivo local	Não	Arquivo de configuração de um trabalho do Spark de DLI. Se este parâmetro não for especificado, o arquivo de configuração estará vazio.
--file	String	Sim	Arquivo de entrada para execução do programa. O valor pode ser um caminho de arquivo local, um caminho do OBS ou o nome de um pacote JAR ou PyFile que foi carregado no sistema de gerenciamento de recursos do DLI.
-cn / --class_name	String	Sim	Classe principal de Java/Spark do trabalho de processamento em lote.
--name	String	Não	Nome do trabalho especificado. O valor consiste em um máximo de 128 caracteres.
--image	String	Não	Caminho para uma imagem personalizada no formato de "Organization name/Image name:Image version". Esse parâmetro é válido somente quando feature é definido como custom. Você pode usar esse parâmetro com o parâmetro feature para especificar uma imagem personalizada do Spark para a execução do trabalho.
-obs / --obs-bucket	String	Não	Bucket do OBS para armazenar um trabalho do Spark. Configure este parâmetro quando precisar salvar trabalhos. Ele também pode ser usado como uma estação de trânsito para enviar arquivos locais para recursos.
-sv/ --spark-version	String	Não	Versão do componente Spark usada por um trabalho.
-st / `--sc-type	String	Não	Se a versão atual do componente Spark for 2.3.2, deixe este parâmetro em branco. Se a versão atual do componente Spark for 2.3.3, configure este parâmetro quando feature estiver definido como basic ou ai. Se este parâmetro não for especificado, será usada a versão padrão do componente Spark 2.3.2.
--feature	String	Não	Recurso de trabalho, indicando o tipo da imagem do Spark usada por um trabalho. O valor padrão é basic. basic: uma imagem é usada base do Spark fornecida pelo DLI. custom: uma imagem personalizada do Spark é usada. ai: uma imagem de IA fornecida pelo DLI é usada.
--queue	String	Não	Nome da fila. Defina este parâmetro para o nome de uma fila do DLI criada. A fila deve ser do tipo comum. Para obter detalhes sobre como obter um nome de fila, consulte Tabela 1.
-ec / --executor-cores	String	Não	Número de núcleos de CPU de cada Executor na aplicação Spark. Essa configuração substituirá a configuração padrão em sc_type.
-em / --executor-memory	String	Não	Memória do executor da aplicação Spark, por exemplo, 2 GB ou 2048 MB. Essa configuração substituirá a configuração padrão em sc_type. A unidade deve ser fornecida. Caso contrário, a inicialização falha.
-ne / --num-executors	String	Não	Número de Executores em uma aplicação Spark. Essa configuração substituirá a configuração padrão em sc_type.
-dc / --driver-cores	String	Não	Número de núcleos de CPU do driver de aplicação Spark. Essa configuração substituirá a configuração padrão em sc_type.
-dm / --driver-memory	String	Não	Memória do driver da aplicação Spark, por exemplo, 2 GB ou 2048 MB. Essa configuração substituirá a configuração padrão em sc_type. A unidade deve ser fornecida. Caso contrário, a inicialização falha.
--conf	Array of string	Não	Configuração de Batch. Para obter detalhes, consulte Configuração do Spark. Para especificar vários parâmetros, use --conf conf1 --conf conf2.
--resources	Array of string	Não	Nome de um pacote de recursos, que pode ser um arquivo local, caminho do OBS ou um arquivo que tenha sido carregado para o sistema de gestão de recursos do DLI. Para especificar vários parâmetros, use --resources resource1 --resources resource2.
--files	Array of string	Não	Nome do pacote de arquivos que foi carregado para o sistema de gerenciamento de recursos do DLI. Você também pode especificar um caminho do OBS, por exemplo, obs://Bucket name/Package name. Arquivos locais também são suportados. Para especificar vários parâmetros, use --files file1 --files file2.
--jars	Array of string	Não	Nome do pacote JAR que foi carregado no sistema de gerenciamento de recursos do DLI. Você também pode especificar um caminho do OBS, por exemplo, obs://Bucket name/Package name. Arquivos locais também são suportados. Para especificar vários parâmetros, use --jars jar1 --jars jar2.
-pf /--python-files	Array of string	Não	Nome do pacote do PyFile que foi carregado para o sistema de gerenciamento de recursos do DLI. Você também pode especificar um caminho do OBS, por exemplo, obs://Bucket name/Package name. Arquivos locais também são suportados. Para especificar vários parâmetros, use --python-files py1 --python-files py2.
--groups	Array of string	Não	Nome do grupo de recursos. Para especificar vários parâmetros, use --groups group1 --groups group2.
--args	Array of string	Não	Parâmetros de entrada da classe principal, que são parâmetros da aplicação. Para especificar vários parâmetros, use --args arg1 --args arg2.
-q / --quiet	Bool	Não	Depois que um trabalho do Spark de DLI é enviado, o sistema sai diretamente e não imprime o status do trabalho de forma síncrona.

Exemplos

Envie um trabalho do Spark de DLI usando o arquivo YAML_FILE.
```
$ma-cli dli-job submit dli_job.yaml
```

Envie um trabalho do Spark de DLI especificando o parâmetro options na CLI.

$ma-cli dli-job submit --name test-spark-from-sdk \
>                         --file test/jumpstart-trainingjob-gallery-pytorch-sample.ipynb \
>                         --queue dli_ma_notebook \
>                         --spark-version 2.4.5 \
>                         --driver-cores 1 \
>                         --driver-memory 1G \
>                         --executor-cores 1 \
>                         --executor-memory 1G \
>                         --num-executors 1