¿Cómo uso MRS?

MapReduce (MRS) Service es un servicio que puede usar para desplegar y gestionar componentes basados en Hadoop en Huawei Cloud. Le permite desplegar clústeres de Hadoop con unos pocos clics. MRS proporciona clústeres de big data listos para la empresa en la nube. Los tenants pueden controlar completamente los clústeres y ejecutar fácilmente componentes de big data como Hadoop, Spark, HBase, Kafka y Storm en los clústeres.

MRS es fácil de usar. Puede ejecutar varias tareas y procesar o almacenar datos de escala PB mediante equipos conectados en un clúster. Para utilizar MRS, haga lo siguiente:

1. Desarrolle un programa de procesamiento de datos. Para obtener detalles sobre cómo desarrollar rápidamente un programa de este tipo y ejecutarlo correctamente, consulte el código de ejemplo y los tutoriales proporcionados en Método de construcción de un proyecto de ejemplo de MRS.
2. Suba programas locales y archivos de datos a OBS.
3. Cree un clúster. Debe especificar el tipo de clúster (por ejemplo, análisis o streaming) y establecer las especificaciones de instancia de ECS, el número de instancias, el tipo de disco de datos (E/S común, E/S alta y E/S ultraalta) y los componentes que se van a instalar, como Hadoop, Spark, HBase, Hive, Kafka y Storm, en un clúster. Puede utilizar una acción de arranque para instalar software de terceros o modificar el entorno de ejecución del clúster en un nodo antes o después de iniciar el clúster.
4. Utilice MRS para enviar, ejecutar y monitorear sus programas.
5. Gestione clústeres en MRS Manager, una plataforma de gestión unificada de clústeres de big data a nivel empresarial. Puede obtener información sobre el estado de los servicios y hosts, obtener información crítica del sistema de manera oportuna a partir del monitoreo y la personalización de métricas gráficas, modificar los atributos del servicio en función de los requisitos de rendimiento e iniciar o detener clústeres, servicios e instancias de rol.
6. Termine cualquier clúster de MRS que no necesite una vez completada la ejecución del trabajo. El clúster terminado ya no se factura.