Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Mostrar todo

Centro de ayuda/ MapReduce Service/ Guía del usuario/ Apéndice/ Solución de migración de datos/ Exportación de metadatos

Exportación de metadatos

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

Para garantizar que las propiedades de datos y los permisos del clúster de origen sean coherentes con los del clúster de destino, los metadatos del clúster de origen deben exportarse para restaurar los metadatos después de la migración de datos. Los metadatos que se van a exportar incluyen el propietario, el grupo y la información de permiso de los archivos HDFS y la descripción de la tabla Hive.

Exportación de metadatos HDFS

La información de metadatos de HDFS que se va a exportar incluye permisos de archivos y carpetas e información de propietario/grupo. Puede ejecutar el siguiente comando en el cliente HDFS para exportar los metadatos:

$HADOOP_HOME/bin/hdfs dfs –ls –R <migrating_path> > /tmp/hdfs_meta.txt

A continuación se proporciona una descripción de los parámetros del comando anterior.

$HADOOP_HOME: directorio de instalación del cliente Hadoop en el clúster de origen
<migrating_path>: directorio de datos de HDFS que se va a migrar
/tmp/hdfs_meta.txt: ruta local para almacenar los metadatos exportados

NOTA:

Si el clúster de origen puede comunicarse con el clúster de destino y ejecuta el comando hadoop DistCp como superadministrador para copiar datos, puede agregar el parámetro -p para habilitar DistCp para restaurar los metadatos del archivo correspondiente en el clúster de destino mientras copia datos. Si es así, omita este paso.

Exportación de metadatos de Hive

Los datos de la tabla Hive se almacenan en HDFS. Los datos de la tabla y los metadatos de los datos de la tabla son migrados centralmente en directorios por HDFS de una manera unificada. Los metadatos de las tablas Hive se pueden almacenar en diferentes tipos de bases de datos relacionales (como MySQL, PostgreSQL y Oracle) basadas en configuraciones de clúster. Los metadatos exportados de las tablas Hive en este documento son la descripción de la tabla Hive almacenada en la base de datos relacional.

Las ediciones principales de lanzamiento de big data en la industria soportan la instalación de Sqoop. Para los clústeres de big data locales de la versión de la comunidad, puede descargar el Sqoop de la versión de la comunidad para su instalación. Utilice Sqoop para desacoplar la fuerte dependencia entre los metadatos que se van a exportar y la base de datos relacional y exportar los metadatos de Hive a HDFS y migrarlos junto con los datos de la tabla para su restauración. El procedimiento es el siguiente:

Descargue la herramienta Sqoop desde el clúster de origen e instálela. Para obtener más información, véase http://sqoop.apache.org/.
Descargue el controlador JDBC de la base de datos relacional en el directorio ${Sqoop_Home}/lib.
Ejecute el siguiente comando para exportar todas las tablas de metadatos de Hive: Todos los datos exportados se almacenan en /user/<user_name>/<table_name> directory en HDFS.
```
$Sqoop_Home/bin/sqoop import --connect jdbc:<driver_type>://<ip>:<port>/<database> --table <table_name> --username <user> -password <passwd> -m 1
```
A continuación se proporciona una descripción de los parámetros del comando anterior.
- $Sqoop_Home: directorio de instalación de Sqoop
- <driver_type>: Tipo de base de datos
- <ip>: dirección IP de la base de datos en el clúster de origen
- <port>: número de puerto de la base de datos en el clúster de origen
- <table_name>: Nombre de la tabla que se va a exportar
- <user>: Nombre de usuario
- <passwd>: Contraseña de usuario

Tema principal: Solución de migración de datos

Tema anterior: Hacer preparaciones

Tema siguiente: Copia de datos

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar