Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Creación de una agencia ECS
Configuración de una agencia para un clúster MRS
Creación de un sistema de archivos OBS
Acceso al sistema de archivos OBS a través de Hive

Mostrar todo

Centro de ayuda/ MapReduce Service/ Pasos iniciales/ Configuración de Hive con almacenamiento y cómputo desacoplado

Configuración de Hive con almacenamiento y cómputo desacoplado

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

El MRS permite almacenar datos en el OBS y utilizar un clúster de MRS solo para el cómputo de datos. De esta manera, el almacenamiento y los cálculos se desacoplan. Puede utilizar el servicio IAM para realizar configuraciones sencillas para acceder a OBS.

En esta sección se describe cómo crear una tabla Hive para almacenar datos en OBS.

Creación de una agencia ECS
Configuración de una agencia para un clúster MRS
Creación de un sistema de archivos OBS
Acceso al sistema de archivos OBS a través de Hive

Creación de una agencia ECS

Inicie sesión en la consola de gestión de Huawei Cloud.
Elija Service List >Management & Governance >Identity and Access Management.
Haga clic en Agencies. En la página mostrada, haga clic en Create Agency.
Introduzca el nombre de una agencia, por ejemplo, mrs_ecs_obs.
Establezca Agency Type en Cloud service y seleccione ECS BMS para autorizar a ECS o BMS a invocar OBS.
Establezca Validity Period en Unlimited y haga clic en Next.
Figura 1 Creación de una agencia
En la página que se muestra, busque OBS OperateAccess en el cuadro de búsqueda y selecciónelo en la lista de resultados.
Figura 2 Asignación de permisos
Haga clic en Next. En la página que se muestra, seleccione el ámbito deseado para los permisos seleccionados. De forma predeterminada, se selecciona All resources. Haga clic en Show More, seleccione Global resources y haga clic en OK.
En el cuadro de diálogo que se muestra, haga clic en OK para iniciar la autorización. Después de que aparezca el mensaje "Authorization successful.", haga clic en Finish. La agencia se crea con éxito.

Configuración de una agencia para un clúster MRS

Puede configurar una agencia al crear un clúster o vincular una agencia a un clúster existente para desacoplar almacenamiento y procesamiento. En esta sección se utiliza un clúster existente como ejemplo para describir cómo configurar una agencia.

Inicie sesión en la consola de MRS. En el panel de navegación de la izquierda, elija Clusters >Active Clusters.
Haga clic en el nombre de un clúster para ir a la página de detalles del clúster.
En la página Dashboard, haga clic en Synchronize en el lado derecho de IAM User Sync para sincronizar usuarios de IAM.
En la página Dashboard, haga clic en Manage Agency en el lado derecho de Agency para seleccionar la agencia creada en Creación de una agencia ECS, y haga clic en OK para vincularla al clúster. Alternativamente, haga clic en Create Agency para ir a la consola de IAM para crear una agencia y vincularla al clúster.
Figura 3 Vinculación de una agencia

Creación de un sistema de archivos OBS

Inicie sesión en la consola OBS.
Elija Parallel File System > Create Parallel File System.
Introduzca el nombre del sistema de archivos, por ejemplo, mrs-demo01.
Establezca otros parámetros según sea necesario.

Figura 4 Crear un sistema de archivos paralelo
Haga clic en Create Now.
En la lista del sistema de archivos paralelo de la consola OBS, haga clic en el nombre del sistema de archivos para ir a la página de detalles.
En el panel de navegación, elija Files y cree carpetas program y input.
- program: Subir el paquete de programa a esta carpeta.
- input: Subir los datos de entrada a esta carpeta.

Acceso al sistema de archivos OBS a través de Hive

Inicie sesión en un nodo master como usuario root. Para obtener más información, consulte Iniciar sesión en un ECS.
Verifique que Hive pueda acceder a OBS.
1. Inicie sesión en el nodo master del clúster como usuario root y ejecute los siguientes comandos:
  cd /opt/Bigdata/client
  
  source bigdata_env
  
  source Hive/component_env
2. Vea la lista de archivos en el sistema de archivos mrs-demo01.
  hadoop fs -ls obs://mrs-demo01/
3. Compruebe si se devuelve la lista de archivos. Si se devuelve, el acceso a OBS se realiza correctamente.
  Figura 5 Consulta de la lista de archivos en mrs-demo01
4. Ejecute el siguiente comando para autenticar al usuario (Sáltese este paso para un clúster normal, es decir, con la autenticación Kerberos deshabilitada):
  kinit hive
  
  Introduzca la contraseña del usuario hive. La contraseña predeterminada es Hive@123. Cambie la contraseña cuando inicie sesión por primera vez.
5. Ejecute el comando de cliente de Hive.
  beeline
6. Acceda al directorio OBS en Beeline. Por ejemplo, ejecute el siguiente comando para crear una tabla Hive y especifique que los datos se almacenan en la tabla test_demo01 del sistema de archivos mrs-demo01:
  create table test_demo01(name string) location "obs://mrs-demo01/test_demo01";
7. Ejecute el siguiente comando para consultar todas las tablas. Si se muestra la tabla test_demo01 en la salida del comando, el acceso a OBS se realiza correctamente.
  show tables;
  
  Figura 6 Comprobar si existe la tabla test_demo01
8. Ejecute el siguiente comando para comprobar la ubicación de la tabla.
  show create table test_demo01;
  
  Compruebe si la ubicación de la tabla comienza con obs://OBS bucket name/.
  
  Figura 7 Comprobación de la ubicación de la tabla test_demo01
9. Ejecute el siguiente comando para escribir datos en la tabla.
  insert into test_demo01 values('mm'),('ww'),('ww');
  
  Ejecute el comando select * from test_demo01; para comprobar si los datos se escriben correctamente.
  
  Figura 8 Consulta de datos en la tabla test_demo01
10. Ejecute el comando !q para salir del cliente Beeline.
11. Inicie sesión de nuevo en la consola OBS.
12. Haga clic en Parallel File System y seleccione el sistema de archivos creado.
13. Haga clic en Files para comprobar si los datos existen en la tabla creada.
  Figura 9 Consulta de datos

Tema anterior: Configuración del escalado automático para un clúster MRS

Tema siguiente: Envío de tareas de Spark a nuevos nodos de Task

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar