Configuración de Hive con almacenamiento y cómputo desacoplado

Creación de una agencia ECS

1. Inicie sesión en la consola de gestión de Huawei Cloud.
2. Elija Service List >Management & Governance >Identity and Access Management.
3. Haga clic en Agencies. En la página mostrada, haga clic en Create Agency.
4. Introduzca el nombre de una agencia, por ejemplo, mrs_ecs_obs.
5. Establezca Agency Type en Cloud service y seleccione ECS BMS para autorizar a ECS o BMS a invocar OBS.
6. Establezca Validity Period en Unlimited y haga clic en Next.
   Figura 1 Creación de una agencia
   
7. En la página que se muestra, busque OBS OperateAccess en el cuadro de búsqueda y selecciónelo en la lista de resultados.
   Figura 2 Asignación de permisos
   
8. Haga clic en Next. En la página que se muestra, seleccione el ámbito deseado para los permisos seleccionados. De forma predeterminada, se selecciona All resources. Haga clic en Show More, seleccione Global resources y haga clic en OK.
9. En el cuadro de diálogo que se muestra, haga clic en OK para iniciar la autorización. Después de que aparezca el mensaje "Authorization successful.", haga clic en Finish. La agencia se crea con éxito.

Configuración de una agencia para un clúster MRS

Puede configurar una agencia al crear un clúster o vincular una agencia a un clúster existente para desacoplar almacenamiento y procesamiento. En esta sección se utiliza un clúster existente como ejemplo para describir cómo configurar una agencia.

1. Inicie sesión en la consola de MRS. En el panel de navegación de la izquierda, elija Clusters >Active Clusters.
2. Haga clic en el nombre de un clúster para ir a la página de detalles del clúster.
3. En la página Dashboard, haga clic en Synchronize en el lado derecho de IAM User Sync para sincronizar usuarios de IAM.
4. En la página Dashboard, haga clic en Manage Agency en el lado derecho de Agency para seleccionar la agencia creada en Creación de una agencia ECS, y haga clic en OK para vincularla al clúster. Alternativamente, haga clic en Create Agency para ir a la consola de IAM para crear una agencia y vincularla al clúster.
   Figura 3 Vinculación de una agencia
   

Creación de un sistema de archivos OBS

1. Inicie sesión en la consola OBS.
2. Elija Parallel File System > Create Parallel File System.
3. Introduzca el nombre del sistema de archivos, por ejemplo, mrs-demo01.

   Establezca otros parámetros según sea necesario.

   Figura 4 Crear un sistema de archivos paralelo
   
4. Haga clic en Create Now.
5. En la lista del sistema de archivos paralelo de la consola OBS, haga clic en el nombre del sistema de archivos para ir a la página de detalles.
6. En el panel de navegación, elija Files y cree carpetas program y input.
   • program: Subir el paquete de programa a esta carpeta.
   • input: Subir los datos de entrada a esta carpeta.

Acceso al sistema de archivos OBS a través de Hive

1. Inicie sesión en un nodo master como usuario root. Para obtener más información, consulte Iniciar sesión en un ECS.
2. Verifique que Hive pueda acceder a OBS.
   1. Inicie sesión en el nodo master del clúster como usuario root y ejecute los siguientes comandos:

      cd /opt/Bigdata/client

      source bigdata_env

      source Hive/component_env

   2. Vea la lista de archivos en el sistema de archivos mrs-demo01.

      hadoop fs -ls obs://mrs-demo01/

   3. Compruebe si se devuelve la lista de archivos. Si se devuelve, el acceso a OBS se realiza correctamente.
      Figura 5 Consulta de la lista de archivos en mrs-demo01
      
   4. Ejecute el siguiente comando para autenticar al usuario (Sáltese este paso para un clúster normal, es decir, con la autenticación Kerberos deshabilitada):

      kinit hive

      Introduzca la contraseña del usuario hive. La contraseña predeterminada es Hive@123. Cambie la contraseña cuando inicie sesión por primera vez.

   5. Ejecute el comando de cliente de Hive.

      beeline

   6. Acceda al directorio OBS en Beeline. Por ejemplo, ejecute el siguiente comando para crear una tabla Hive y especifique que los datos se almacenan en la tabla test_demo01 del sistema de archivos mrs-demo01:

      create table test_demo01(name string) location "obs://mrs-demo01/test_demo01";

   7. Ejecute el siguiente comando para consultar todas las tablas. Si se muestra la tabla test_demo01 en la salida del comando, el acceso a OBS se realiza correctamente.

      show tables;

      Figura 6 Comprobar si existe la tabla test_demo01
      
   8. Ejecute el siguiente comando para comprobar la ubicación de la tabla.

      show create table test_demo01;

      Compruebe si la ubicación de la tabla comienza con obs://OBS bucket name/.

      Figura 7 Comprobación de la ubicación de la tabla test_demo01
      
   9. Ejecute el siguiente comando para escribir datos en la tabla.

      insert into test_demo01 values('mm'),('ww'),('ww');

      Ejecute el comando select * from test_demo01; para comprobar si los datos se escriben correctamente.

      Figura 8 Consulta de datos en la tabla test_demo01
      
   10. Ejecute el comando !q para salir del cliente Beeline.
   11. Inicie sesión de nuevo en la consola OBS.
   12. Haga clic en Parallel File System y seleccione el sistema de archivos creado.
   13. Haga clic en Files para comprobar si los datos existen en la tabla creada.
       Figura 9 Consulta de datos