Importación y exportación de datos

Antecedentes

Las fuentes de datos procesadas por MRS son de OBS o HDFS. OBS es un servicio de almacenamiento basado en objetos que le proporciona capacidades de almacenamiento de datos masivas, seguras, confiables y rentables. MRS puede procesar datos en OBS directamente. Puede ver, gestionar y usar datos utilizando la página web de la plataforma de control de gestión o el cliente de OBS. Además, puede utilizar las API de REST de forma independiente o integrar las API en aplicaciones de servicio para gestionar y acceder a los datos.

Antes de crear trabajos, cargue los datos locales en OBS para que MRS calcule y analice. MRS permite exportar datos de OBS a HDFS para computación y análisis. Después de completar el análisis de datos y la computación, puede almacenar los datos en HDFS o exportarlos a OBS. HDFS y OBS también pueden almacenar los datos comprimidos en el formato bz2 o gz.

Importación de datos

Actualmente, MRS solo puede importar datos de OBS a HDFS. La tasa de carga de archivos disminuye con el aumento del tamaño del archivo. Este modo se aplica a escenarios en los que el volumen de datos es pequeño.

Puede realizar los siguientes pasos para importar archivos y directorios:

1. Inicie sesión en la consola de MRS.
2. Elija Clusters > Active Clusters y haga clic en el nombre del clúster que se va a consultar para entrar en la página que muestra la información del clúster.
3. Haga clic en la pestaña Files, y vaya a la página de gestión de archivos.
4. Seleccione HDFS File List.
5. Vaya al directorio de almacenamiento de datos, por ejemplo, bd_app1.

   El directorio bd_app1 es solo un ejemplo. Puede utilizar cualquier directorio de la página o crear uno nuevo.

   Los requisitos para crear una carpeta son los siguientes:

   • El nombre de la carpeta contiene un máximo de 255 caracteres.
   • El nombre de la carpeta no puede estar vacío.
   • El nombre de la carpeta no puede contener las siguientes characters especiales: /:*?"<>|\;&,'`!{}[]$%+
   • El valor no puede comenzar ni finalizar con un período (.).
   • Los espacios al principio y al final se ignoran.
6. Haga clic en Import Data y configure las rutas de HDFS y OBS correctamente. Cuando configure la ruta de acceso OBS o HDFS, haga clic en Browse, seleccione un directorio de archivo y haga clic en Yes.
   Figura 1 Importación de datos
   
   • Ruta de OBS
     • El camino debe comenzar con obs://.
     • Los archivos o programas cifrados por KMS no se pueden importar.
     • No se puede importar una carpeta vacía.
     • El directorio y el nombre del archivo pueden contener letras, dígitos, guiones (-) y guiones bajos (_), pero no pueden contener los siguientes caracteres especiales ;|&>,<'$*?\
     • El directorio y el nombre de archivo no pueden comenzar o terminar con un espacio, pero pueden contener espacios entre ellos.
     • La ruta de acceso completa de OBS contiene un máximo de 255 caracteres.
   • Ruta de HDFS
     • La ruta comienza por /user de forma predeterminada.
     • El directorio y el nombre del archivo pueden contener letras, dígitos, guiones (-) y guiones bajos (_), pero no pueden contener los siguientes caracteres especiales: ;|&>,<'$*?\:
     • El directorio y el nombre de archivo no pueden comenzar o terminar con un espacio, pero pueden contener espacios entre ellos.
     • La ruta de acceso completa de HDFS contiene un máximo de 255 caracteres.
7. Haga clic en OK.

   Puede ver el progreso de la carga de archivos en la pestaña File Operation Records. MRS procesa la operación de importación de datos como un trabajo de DistCp. También puede comprobar si el trabajo DistCp se ejecuta correctamente en la página de pestaña Jobs.

Exportación de datos

Después de completar el análisis de datos y la computación, puede almacenar los datos en HDFS o exportarlos a OBS.

Puede realizar los siguientes pasos para exportar archivos y directorios:

1. Inicie sesión en la consola de MRS.
2. Elija Clusters > Active Clusters y haga clic en el nombre del clúster que se va a consultar para entrar en la página que muestra la información básica del clúster.
3. Haga clic en la pestaña Files y aparecerá la página de gestión de archivos.
4. Seleccione HDFS File List.
5. Vaya al directorio de almacenamiento de datos, por ejemplo, bd_app1.
6. Haga clic en Export Data y configure las rutas OBS y HDFS. Cuando configure la ruta de acceso OBS o HDFS, haga clic en Browse, seleccione un directorio de archivo y haga clic en Yes.
   Figura 2 Exportación de datos
   
   • Ruta de OBS
     • El camino debe comenzar con obs://.
     • El directorio y el nombre del archivo pueden contener letras, dígitos, guiones (-) y guiones bajos (_), pero no pueden contener los siguientes caracteres especiales: ;|&>,<'$*?\
     • El directorio y el nombre de archivo no pueden comenzar o terminar con un espacio, pero pueden contener espacios entre ellos.
     • La ruta de acceso completa de OBS contiene un máximo de 255 caracteres.
   • Ruta de HDFS
     • La ruta comienza por /user de forma predeterminada.
     • El directorio y el nombre del archivo pueden contener letras, dígitos, guiones (-) y guiones bajos (_), pero no pueden contener los siguientes caracteres especiales: ;|&>,<'$*?\:
     • El directorio y el nombre de archivo no pueden comenzar o terminar con un espacio, pero pueden contener espacios entre ellos.
     • La ruta de acceso completa de HDFS contiene un máximo de 255 caracteres.
   

   Cuando se exporta una carpeta a OBS, se agrega un archivo de etiquetas denominado folder name_$folder$ a la ruta de acceso de OBS. Asegúrese de que la carpeta exportada no está vacía. Si la carpeta exportada está vacía, OBS no puede mostrarla y solo genera un archivo denominado folder name_$folder$.

7. Haga clic en OK.

   Puede ver el progreso de la carga de archivos en la pestaña File Operation Records. MRS procesa la operación de exportación de datos como un trabajo DistCp. También puede comprobar si el trabajo DistCp se ejecuta correctamente en la página de pestaña Jobs.

Visualización de registros de operación

Al importar y exportar datos en la consola de gestión de MRS, puede elegir Files > File Operation Records para ver el progreso de importación y exportación de datos.

Tabla 1 describe los parámetros del registro de operación del archivo.