Comprar rápidamente un clúster de análisis de Hadoop
Esta sección describe cómo comprar rápidamente un clúster de análisis de Hadoop para el análisis y la consulta de grandes cantidades de datos. En el ecosistema de Hadoop de código abierto, Hadoop utiliza YARN para gestionar recursos de clúster, Hive y Spark para proporcionar almacenamiento y computación fuera de línea de datos distribuidos a gran escala, Spark Streaming y Flink para ofrecer computación de datos de streaming, y Presto para permitir consultas interactivas, Tez para proporcionar un marco de cálculo distribuido de gráficos acíclicos dirigidos (DAG).
El clúster de análisis de Hadoop consta de los siguientes componentes:
- MRS 1.9.2: Hadoop 2.8.3, Spark 2.2.2, Hive 2.3.3, Presto 0.216, Tez 0.9.1, Ranger 1.0.1, y Flink 1.7.0.
- MRS 3.1.0: Hadoop 3.1.1, Hive 3.1.0, Spark2x 2.4.5, Flink 1.12.0, ZooKeeper 3.5.6, Ranger 2.0.0, Tez 0.9.2, y Presto 333.
- MRS 3.1.2-LTS.3: Hadoop 3.1.1, Hive 3.1.0, Spark2x 3.1.1, Flink 1.12.2, ZooKeeper 3.6.3, Ranger 2.0.0, y Tez 0.9.2.
- MRS 3.1.5: Hadoop 3.1.1, Hive 3.1.0, Spark2x 3.1.1, Tez 0.9.2, Flink 1.12.2, ZooKeeper 3.6.3, Ranger 2.0.0, y Presto 333.
Compra rápida de un clúster de análisis de Hadoop
- Inicie sesión en la consola de MRS.
- Haga clic en Buy Cluster. Se muestra la página para comprar un clúster.
- En la página para comprar un clúster, haga clic en la pestaña Quick Config.
- Configure la información básica del clúster. Para obtener más información sobre los parámetros, consulte Compra de un clúster personalizado.
- Region: Utilice el valor predeterminado.
- Billing Mode: Seleccione Pay-per-use.
- Cluster Name: Puede utilizar el nombre predeterminado. Sin embargo, se recomienda incluir una abreviatura de nombre de proyecto o fecha para la memoria consolidada y fácil de distinguir, por ejemplo, mrs_20180321.
- Version Type: Normal está seleccionado de forma predeterminada. (Los componentes varían según el tipo de versión. Seleccione un tipo de versión según sea necesario.)
- Cluster Version: Seleccione la última versión, que es el valor predeterminado. (Los componentes proporcionados por un clúster varían según la versión del clúster. Seleccione una versión de clúster basada en los requisitos del sitio.)
- Component: Seleccione Hadoop analysis cluster.
- AZ: Utilice el valor predeterminado.
- Enterprise Project: Conserve el valor predeterminado.
- VPC: Utilice el valor predeterminado. Si no hay una VPC disponible, haga clic en View VPC para acceder a la consola de VPC y crear una nueva VPC.
- Subnet: Utilice el valor predeterminado.
- CPU Architecture: Utilice el valor predeterminado.
- Cluster Node: Seleccione el número de nodos del clúster y las especificaciones de nodos según los requisitos del sitio. Para MRS 3.x o posterior, la memoria del nodo de master debe ser mayor que 64 GB.
- Kerberos Authentication: Si se debe habilitar la autenticación de Kerberos. El estado del control deslizante no se puede cambiar una vez que el clúster se ha comprado.
- Username: El valor predeterminado es root/admin. El usuario root se utiliza para iniciar sesión de forma remota en los ECS, y el usuario admin se utiliza para acceder a la página de gestión del clúster.
- Password: Establecer una contraseña para el usuario root/admin.
- Confirm Password: Ingrese la contraseña del usuario root/admin de nuevo.
Figura 1 Clúster de análisis de Hadoop
Figura 2 Configuraciones de nodos de clúster
- Seleccione Enable para habilitar las comunicaciones seguras. Para obtener más información, consulte Autorización de seguridad de comunicación.
- Haga clic en Buy Now.
Si la autenticación de Kerberos está habilitada, compruebe si esta función es necesaria. Si lo es, haga clic en Continue. Si no es así, haga clic en Back para desactivarlo y, a continuación, continúe con el paso siguiente. El estado del control deslizante no se puede cambiar una vez que el clúster se ha comprado.
Para cualquier duda sobre el precio, haga clic en Pricing details en la esquina inferior izquierda.
- Haga clic en Back to Cluster List para ver el estado del clúster. Haga clic en Access Cluster para ver los detalles del clúster.
Para obtener más información sobre el estado del clúster durante la creación, consulte la descripción de los parámetros de estado en Tabla 1.
Se necesita algún tiempo para crear un clúster. El estado inicial del clúster es Starting. Una vez que el clúster se ha creado correctamente, el estado del clúster pasa a ser Running.
En la consola de gestión de MRS, se puede crear simultáneamente un máximo de 10 clústeres y se puede gestionar un máximo de 100 clústeres.
