Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Cómputo
Elastic Cloud Server
Bare Metal Server
Auto Scaling
Image Management Service
Dedicated Host
FunctionGraph
Cloud Phone Host
Huawei Cloud EulerOS
Redes
Virtual Private Cloud
Elastic IP
Elastic Load Balance
NAT Gateway
Direct Connect
Virtual Private Network
VPC Endpoint
Cloud Connect
Enterprise Router
Enterprise Switch
Global Accelerator
Gestión y gobernanza
Cloud Eye
Identity and Access Management
Cloud Trace Service
Resource Formation Service
Tag Management Service
Log Tank Service
Config
Resource Access Manager
Simple Message Notification
Application Performance Management
Application Operations Management
Organizations
Optimization Advisor
Cloud Operations Center
Resource Governance Center
Migración
Server Migration Service
Object Storage Migration Service
Cloud Data Migration
Migration Center
Cloud Ecosystem
KooGallery
Partner Center
User Support
My Account
Billing Center
Cost Center
Resource Center
Enterprise Management
Service Tickets
HUAWEI CLOUD (International) FAQs
ICP Filing
Support Plans
My Credentials
Customer Operation Capabilities
Partner Support Plans
Professional Services
Análisis
MapReduce Service
Data Lake Insight
CloudTable Service
Cloud Search Service
Data Lake Visualization
Data Ingestion Service
GaussDB(DWS)
DataArts Studio
IoT
IoT Device Access
Otros
Product Pricing Details
System Permissions
Console Quick Start
Common FAQs
Instructions for Associating with a HUAWEI CLOUD Partner
Message Center
Seguridad y cumplimiento
Security Technologies and Applications
Web Application Firewall
Host Security Service
Cloud Firewall
SecMaster
Data Encryption Workshop
Database Security Service
Cloud Bastion Host
Data Security Center
Cloud Certificate Manager
Situation Awareness
Managed Threat Detection
Blockchain
Blockchain Service
Servicios multimedia
Media Processing Center
Video On Demand
Live
SparkRTC
Almacenamiento
Object Storage Service
Elastic Volume Service
Cloud Backup and Recovery
Storage Disaster Recovery Service
Scalable File Service
Volume Backup Service
Cloud Server Backup Service
Data Express Service
Dedicated Distributed Storage Service
Contenedores
Cloud Container Engine
SoftWare Repository for Container
Application Service Mesh
Ubiquitous Cloud Native Service
Cloud Container Instance
Bases de datos
Relational Database Service
Document Database Service
Data Admin Service
Data Replication Service
GeminiDB
GaussDB
Distributed Database Middleware
Database and Application Migration UGO
TaurusDB
Middleware
Distributed Cache Service
API Gateway
Distributed Message Service for Kafka
Distributed Message Service for RabbitMQ
Distributed Message Service for RocketMQ
Cloud Service Engine
EventGrid
Dedicated Cloud
Dedicated Computing Cluster
Aplicaciones empresariales
ROMA Connect
Message & SMS
Domain Name Service
Edge Data Center Management
Meeting
AI
Face Recognition Service
Graph Engine Service
Content Moderation
Image Recognition
Data Lake Factory
Optical Character Recognition
ModelArts
ImageSearch
Conversational Bot Service
Speech Interaction Service
Huawei HiLens
Developer Tools
SDK Developer Guide
API Request Signing Guide
Terraform
Koo Command Line Interface
Distribución de contenido y cómputo de borde
Content Delivery Network
Intelligent EdgeFabric
CloudPond
Soluciones
SAP Cloud
High Performance Computing
Servicios para desarrolladores
ServiceStage
CodeArts
CodeArts PerfTest
CodeArts Req
CodeArts Pipeline
CodeArts Build
CodeArts Deploy
CodeArts Artifact
CodeArts TestPlan
CodeArts Check
Cloud Application Engine
aPaaS MacroVerse
KooPhone
KooDrive
En esta página

Mostrar todo

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Uso de Hadoop desde el principio

Uso de Hadoop desde el principio

Actualización más reciente 2023-11-20 GMT+08:00

Procedimiento

  1. Comprar un clúster MRS.

    1. Inicie sesión en la consola Huawei Cloud.
    2. Elija Service List >Analytics >MapReduce Service.
    3. En la página Active Clusters que se muestra, haga clic en Buy Cluster.
    4. Haga clic en la pestaña Custom Config.

  2. Configurar software.

    1. Region: Seleccione una región según sea necesario.
    2. Billing Mode: Seleccione Pay-per-use.
    3. Cluster Name: Introduzca mrs_demo o especifique un nombre de acuerdo con las reglas de nomenclatura.
    4. Cluster Version: Seleccione MRS 3.1.0.
    5. Cluster Type: Seleccione Analysis Cluster.
    6. Seleccione todos los componentes del clúster de análisis.
    7. Haga clic en Next.

  3. Configurar hardware.

    1. AZ: Seleccione AZ2.
    2. Enterprise Project: Seleccione default.
    3. VPC y Subnet: Conserve los valores predeterminados o haga clic en View VPC y View Subnet para crearlos.
    4. Security Group - Utilice el valor predeterminado Security Group.
    5. EIP: Bind later está seleccionado de forma predeterminada.
    6. Cluster Node: Conserve los valores predeterminados. No agregue nodos de tarea.
    7. Haga clic en Next.

  4. Establecer opciones avanzadas.

    1. Kerberos Authentication: Disabled
    2. Username: admin se utiliza de forma predeterminada.
    3. Password y Confirm Password: Configúrelos con la contraseña del administrador del FusionInsight Manager.
    4. Login Mode: Seleccione Password. Ingrese una contraseña y confirme la contraseña para usuario root.
    5. Host Name Prefix: Conserve el valor predeterminado.
    6. Seleccione Advanced Settings y establezca Agency en MRS_ECS_DEFAULT_AGENCY.
    7. Haga clic en Next.

  5. Confirmar la configuración.

    1. Configure: Confirme los parámetros configurados en las áreas Configure Software, Configure Hardware y Set Advanced Options.
    2. Secure Communications: Seleccione Enable.
    3. Haga clic en Buy Now. Se muestra la página que muestra que la tarea se ha enviado.
    4. Haga clic en Back to Cluster List. Puede ver el estado del clúster en la página Active Clusters. Espere a que se complete la creación del clúster. El estado inicial del clúster es Starting. Una vez creado el clúster, el estado del clúster pasa a ser Running.

  6. Preparar el programa de muestra de Hadoop y archivos de datos.

    1. Prepare el programa de recuento de palabras.

      Descargue el programa de muestra de Hadoop (incluido wordcount). hadoop-3.3.1.tar.gz se utiliza como ejemplo. Utilice la versión real del programa proporcionada en el enlace. Por ejemplo, elija hadoop-3.3.1. En la página que se muestra, haga clic en hadoop-3.3.1.tar.gz para descargarla. A continuación, descomprima para obtener hadoop-mapreduce-examples-3.3.1.jar (el programa de muestra de Hadoop) de hadoop-3.3.1\share\hadoop\mapreduce.

    2. Prepare los archivos de datos.

      No se requiere el formato de los archivos de datos. Prepare dos archivos .txt. En este ejemplo, se utilizan los archivos wordcount1.txt y wordcount2.txt.

  7. Subir datos a OBS.

    1. Inicie sesión en la consola de OBS y elija Parallel File Systems. En la página Parallel File Systems, haga clic en Create Parallel File System. En la página Create Parallel File System que se muestra, configure los parámetros para crear un sistema de archivos denominado mrs-word01.
    2. Haga clic en el nombre del sistema de archivos mrs-word01. En el panel de navegación de la izquierda, elija Files. En la página que se muestra, haga clic en Create Folder para crear las carpetas program e input.
    3. Vaya a la carpeta program y cargue el programa de muestra de Hadoop descargado en el programa de 6.
    4. Vaya a la carpeta input y cargue los archivos de datos wordcount1.txt y wordcount2.txt preparados en 6.
    5. Para enviar un trabajo en la interfaz gráfica de usuario, vaya a 8.

      Para enviar un trabajo a través de un nodo de clúster, vaya a 9.

  8. Enviar un trabajo en la GUI.

    1. En el panel de navegación de la consola de MRS, elija Clusters > Active Clusters. En la página Active Clusters, haga clic en el clúster mrs_demo.
    2. En la página de información del clúster, haga clic en la pestaña Jobs y luego en Create para crear un trabajo. Para enviar un trabajo a través de un nodo de clúster, vaya a 9.
    3. Type: MapReduce
    4. Job Name: Ingrese wordcount.
    5. Program Path: Haga clic en OBS y seleccione el programa de muestra de Hadoop subido a 7.
    6. Parameters: Ingrese wordcount obs://mrs-word01/input/ obs://mrs-word01/output/. output indica la ruta de salida. Introduzca un directorio que no existe.
    7. Service Parameters: Déjalo en blanco.
    8. Haga clic en OK para enviar el trabajo. Después de enviar un trabajo, se encuentra en el estado Accepted de forma predeterminada. No necesita ejecutar el trabajo de forma manual.
    9. Vaya a la página de pestaña Jobs, vea el estado y los registros del trabajo y vaya a 10 para ver el resultado de la ejecución del trabajo.

  9. Enviar un trabajo a través de un nodo de clúster.

    1. Inicie sesión en la consola MRS y haga clic en el clúster denominado mrs_demo para ir a su página de detalles.
    2. Haga clic en la pestaña Nodes. En esta página de pestaña, haga clic en el nombre de un nodo master para ir a la consola de gestión de ECS.
    3. Haga clic en Remote Login en la esquina superior derecha de la página.
    4. Introduzca el nombre de usuario y la contraseña del nodo de Master como se le solicite. El nombre de usuario es root y la contraseña es la configurada durante la creación del clúster.
    5. Ejecute el comando source /opt/Bigdata/client/bigdata_env para configurar las variables de entorno.
    6. Si se ha habilitado la autenticación Kerberos, ejecute el comando kinit MRS cluster user, por ejemplo, kinit admin, para autenticar al usuario del clúster actual. Omita este paso si la autenticación Kerberos no está habilitada.
    7. Ejecute el siguiente comando para copiar el programa de ejemplo en el bucket OBS al nodo master del clúster:

      hadoop fs -Dfs.obs.access.key=AK -Dfs.obs.secret.key=SK -copyToLocal source_path.jar target_path.jar Example: hadoop fs -Dfs.obs.access.key=XXXX -Dfs.obs.secret.key=XXXX -copyToLocal "obs://mrs-word01/program/hadoop-mapreduce-examples-XXX.jar" "/home/omm/hadoop-mapreduce-examples-XXX.jar" Para obtener el par AK/SK para iniciar sesión en la consola OBS, coloque el cursor sobre el nombre de usuario en la esquina superior derecha de la consola de gestión, y elija My Credentials > Access Keys, o haga clic en Create Access Key para crear una.

    8. Ejecute el siguiente comando para enviar un trabajo de wordcount. Para leer o escribir datos en OBS, agregue parámetros AK/SK. source /opt/Bigdata/client/bigdata_env;hadoop jar execute_jar wordcount input_path output_path Example: source /opt/Bigdata/client/bigdata_env;hadoop jar /home/omm/hadoop-mapreduce-examples-XXX.jar wordcount -Dfs.obs.access.key=XXXX -Dfs.obs.secret.key=XXXX "obs://mrs-word01/input/*" "obs://mrs-word01/output/" En este comando, input_path indica una ruta para almacenar archivos de entrada de trabajo en OBS. output_path indica una ruta para almacenar archivos de salida de trabajo en OBS y debe establecerse en un directorio que no existe

  10. Consultar resultados de ejecución de trabajos.

    1. Inicie sesión en la consola OBS y haga clic en el nombre del sistema de archivos paralelo mrs-word01.
    2. En la página que se muestra, elija Files en el panel de navegación de la izquierda. Vaya a la ruta de salida en el bucket mrs-word01 especificado durante el envío del trabajo y vea el archivo de salida del trabajo. Necesita descargar el archivo en el host local y abrirlo en formato .txt.

Utilizamos cookies para mejorar nuestro sitio y tu experiencia. Al continuar navegando en nuestro sitio, tú aceptas nuestra política de cookies. Descubre más

Comentarios

Comentarios

Comentarios

0/500

Seleccionar contenido

Enviar el contenido seleccionado con los comentarios