Descripción del uso de orígenes de datos de MRS
Descripción del clúster MRS
MRS es un clúster de big data que se ejecuta basado en el ecosistema Hadoop de código abierto. Proporciona las capacidades de análisis y almacenamiento más avanzadas de la industria de volúmenes masivos de datos, satisfaciendo sus requisitos de procesamiento y almacenamiento de datos. Para obtener más información sobre los servicios de MRS, consulte la Guía del usuario de MapReduce Service.
Puede usar Hive/Spark (cluster de análisis de MRS) para almacenar volúmenes masivos de datos de servicio. Los archivos de datos Hive/Spark se almacenan en HDFS. En GaussDB(DWS), puede conectar un clúster de almacén de datos a clústeres MRS, leer datos de archivos HDFS y escribir los datos en GaussDB(DWS) cuando los clústeres están en la misma red.
Actualmente, el almacén de datos híbrido (modo independiente) no puede importar datos de MRS.
Proceso de operación
Realice las siguientes operaciones para importar datos de MRS a un clúster de almacén de datos:
- Prerrequisitos
- Cree un clúster MRS en un clúster de GaussDB(DWS). Para obtener más información, consulte Compra de un clúster personalizado.
- Cree una tabla externa de HDFS para consultar datos desde el clúster MRS a través de las API de un servidor externo.
Para obtener más información, consulte Importación de datos de MRS a un clúster de almacén de datos en Migración y sincronización de datos de Data Warehouse Service (DWS).
- Pueden existir múltiples orígenes de datos MRS en la misma red, pero un clúster de GaussDB(DWS) puede conectarse a un clúster MRS a la vez.
- En el clúster del almacén de datos, cree una conexión de origen de datos MRS según Creación de una conexión de origen de datos de MRS.
- Importe datos de un origen de datos MRS al clúster. Para obtener más información, consulte Importación de datos de MRS a un clúster.
- (Opcional) Cuando la configuración HDFS del clúster MRS cambia, actualice la configuración del origen de datos MRS en GaussDB(DWS). Para obtener más información, véase Actualización de la configuración de la fuente de datos de MRS.
