Este conteúdo foi traduzido por máquina para sua conveniência e a Huawei Cloud não pode garantir que o conteúdo foi traduzido com precisão. Para exibir o conteúdo original, use o link no canto superior direito para mudar para a página em inglês.
Computação
Elastic Cloud Server
Bare Metal Server
Auto Scaling
Image Management Service
Dedicated Host
FunctionGraph
Cloud Phone Host
Huawei Cloud EulerOS
Redes
Virtual Private Cloud
Elastic IP
Elastic Load Balance
NAT Gateway
Direct Connect
Virtual Private Network
VPC Endpoint
Cloud Connect
Enterprise Router
Enterprise Switch
Global Accelerator
Gerenciamento e governança
Cloud Eye
Identity and Access Management
Cloud Trace Service
Resource Formation Service
Tag Management Service
Log Tank Service
Config
Resource Access Manager
Simple Message Notification
Application Performance Management
Application Operations Management
Organizations
Optimization Advisor
Cloud Operations Center
Resource Governance Center
Migração
Server Migration Service
Object Storage Migration Service
Cloud Data Migration
Migration Center
Cloud Ecosystem
KooGallery
Partner Center
User Support
My Account
Billing Center
Cost Center
Resource Center
Enterprise Management
Service Tickets
HUAWEI CLOUD (International) FAQs
ICP Filing
Support Plans
My Credentials
Customer Operation Capabilities
Partner Support Plans
Professional Services
Análises
MapReduce Service
Data Lake Insight
CloudTable Service
Cloud Search Service
Data Lake Visualization
Data Ingestion Service
GaussDB(DWS)
DataArts Studio
IoT
IoT Device Access
Outros
Product Pricing Details
System Permissions
Console Quick Start
Common FAQs
Instructions for Associating with a HUAWEI CLOUD Partner
Message Center
Segurança e conformidade
Security Technologies and Applications
Web Application Firewall
Host Security Service
Cloud Firewall
SecMaster
Anti-DDoS Service
Data Encryption Workshop
Database Security Service
Cloud Bastion Host
Data Security Center
Cloud Certificate Manager
Situation Awareness
Managed Threat Detection
Blockchain
Blockchain Service
Serviços de mídia
Media Processing Center
Video On Demand
Live
SparkRTC
Armazenamento
Object Storage Service
Elastic Volume Service
Cloud Backup and Recovery
Cloud Server Backup Service
Storage Disaster Recovery Service
Scalable File Service
Volume Backup Service
Data Express Service
Dedicated Distributed Storage Service
Containers
Cloud Container Engine
SoftWare Repository for Container
Application Service Mesh
Ubiquitous Cloud Native Service
Cloud Container Instance
Bancos de dados
Relational Database Service
Document Database Service
Data Admin Service
Data Replication Service
GeminiDB
GaussDB
Distributed Database Middleware
Database and Application Migration UGO
TaurusDB
Middleware
Distributed Cache Service
API Gateway
Distributed Message Service for Kafka
Distributed Message Service for RabbitMQ
Distributed Message Service for RocketMQ
Cloud Service Engine
EventGrid
Dedicated Cloud
Dedicated Computing Cluster
Aplicações de negócios
ROMA Connect
Message & SMS
Domain Name Service
Edge Data Center Management
Meeting
AI
Face Recognition Service
Graph Engine Service
Content Moderation
Image Recognition
Data Lake Factory
Optical Character Recognition
ModelArts
ImageSearch
Conversational Bot Service
Speech Interaction Service
Huawei HiLens
Developer Tools
SDK Developer Guide
API Request Signing Guide
Terraform
Koo Command Line Interface
Distribuição de conteúdo e computação de borda
Content Delivery Network
Intelligent EdgeFabric
CloudPond
Soluções
SAP Cloud
High Performance Computing
Serviços para desenvolvedore
ServiceStage
CodeArts
CodeArts PerfTest
CodeArts Req
CodeArts Pipeline
CodeArts Build
CodeArts Deploy
CodeArts Artifact
CodeArts TestPlan
CodeArts Check
Cloud Application Engine
MacroVerse aPaaS
KooPhone
KooDrive
Nesta página

Gang

Atualizado em 2024-11-28 GMT+08:00

O agendamento Gang é um algoritmo de agendamento que agenda processos ou threads correlacionados para serem executados simultaneamente em diferentes processadores. Ele atende aos requisitos de agendamento de "Tudo ou nada" no processo de agendamento e evita o desperdício de recursos de cluster causados pelo agendamento arbitrário de pods. Gang é usado principalmente em cenários que exigem colaboração de vários processos, como cenários de IA e Big Data. O agendamento Gang resolve efetivamente pontos problemáticos, como impasses em trabalhos de treinamento distribuídos, melhorando significativamente a utilização de recursos de cluster.

Pré-requisitos

Recursos

A política de agendamento Gang é um dos principais algoritmos de agendamento do volcano-scheduler. Ele atende aos requisitos de agendamento de "Tudo ou nada" no processo de agendamento e evita o desperdício de recursos de cluster causados pelo agendamento arbitrário de pods. O algoritmo Gang scheduler verifica se o número de pods agendados em uma tarefa atende aos requisitos mínimos para a execução da tarefa. Se sim, todos os pods na tarefa serão agendados. Se não, os pods não serão agendados.

O algoritmo de agendamento Gang baseado em grupos de contêineres é adequado para cenários em que a colaboração multiprocesso é necessária. Os cenários de IA geralmente envolvem processos complexos. A ingestão de dados, os analistas de dados, a divisão de dados, os treinadores, o serviço e o registro que exigem que um grupo de contêineres trabalhem juntos são adequados para o agendamento de gangues baseado em contêiner. Cenários de comunicação de computação paralela multi-thread sob a estrutura de computação MPI também são adequados para o agendamento Gang porque os processos principal e secundário precisam trabalhar juntos. Os contêineres em um grupo de pods são altamente correlacionados e pode haver contenção de recursos. A alocação geral de agendamento pode efetivamente resolver impasses. Se os recursos de cluster forem insuficientes, o agendamento de grupos pode melhorar significativamente a utilização dos recursos de cluster.

Procedimento

Depois que o Volcano for instalado, você poderá ativar ou desativar o agendamento Gang na página Scheduling Configuration. Essa função está ativada por padrão.

  1. Efetue logon no console do CCE.
  2. Clique no nome do cluster para acessar o console do cluster. Escolha Settings no painel de navegação e clique na guia Scheduling Configuration.
  3. No painel AI task performance enhanced scheduling, selecione se deseja ativar o Gang.

    Essa função ajuda a aprimorar a taxa de transferência de serviço do cluster e melhorar o desempenho da execução do serviço.

  4. Clique em Confirm.
  5. Após a configuração, use o agendamento Gang em cargas de trabalho ou tarefas de Volcano.

    • Crie uma carga de trabalho usando o agendamento Gang.
      1. Crie um grupo de pods e especifique minMember e minResources da seguinte forma:
        apiVersion: scheduling.volcano.sh/v1beta1
        kind: PodGroup
        metadata:
          name: pg-test1
        spec:
          minMember: 3
          minResources:
            cpu: 3
            memory: 3Gi
        • minMember: especifica o requisito mínimo sobre o número de pods para executar uma carga de trabalho. Quando o número de pods no grupo de pods atual atende ao requisito, esses pods podem ser agendados centralmente.
        • minResources: especifica o requisito mínimo de recursos para executar uma carga de trabalho. Quando os recursos disponíveis em um cluster atendem ao requisito, o grupo de pods pode ser agendado centralmente.
      2. Ao criar uma carga de trabalho, use schedulerName para especificar o Volcano scheduler e annotation para especificar o grupo de pods no qual o Volcano scheduler é executado.
        apiVersion: apps/v1
        kind: Deployment
        metadata:
          name: podgroup-test
          labels:
            app: podgroup-test
        spec:
          replicas: 6
          selector:
            matchLabels:
              app: podgroup-test
          template:
            metadata:
              annotations:
                scheduling.k8s.io/group-name: pg-test1
              labels:
                app: podgroup-test
            spec:
              schedulerName: volcano
              containers:
              - name: test
                image: busybox
                imagePullPolicy: IfNotPresent
                command: ['sh', '-c', 'echo "Hello, Kubernetes!" && sleep 3600']
                resources:
                  requests:
                    cpu: 500m
                  limits:
                    cpu: 500m
        • schedulerName: defina este parâmetro para volcano, indicando que o vulcão será usado para programar pods para a carga de trabalho.
        • scheduling.k8s.io/group-name: especifica o grupo de pods criado na etapa anterior, por exemplo, pg-test1.
    • Crie uma tarefa de Volcano usando o agendamento Gang.

      Ao criar uma tarefa de Volcano, você só precisa configurar minAvailable e definir o schedulerName para volcano. O Volcano scheduler criará automaticamente um grupo de pods e o gerenciará. O seguinte mostra um exemplo:

      apiVersion: batch.volcano.sh/v1alpha1
      kind: Job
      metadata:
        name: vcjob
      spec:
        schedulerName: volcano
        minAvailable: 2
        tasks:
          - replicas: 4
            name: "test"
            template:
              spec:
                containers:
                  - image: alpine
                    command: ["/bin/sh", "-c", "sleep 1000"]
                    imagePullPolicy: IfNotPresent
                    name: running
                    resources:
                      requests:
                        cpu: "1"
                restartPolicy: OnFailure

Usamos cookies para aprimorar nosso site e sua experiência. Ao continuar a navegar em nosso site, você aceita nossa política de cookies. Saiba mais

Feedback

Feedback

Feedback

0/500

Conteúdo selecionado

Envie o conteúdo selecionado com o feedback