¿Cómo configuro otras fuentes de datos en Presto?
En esta sección, MySQL se utiliza como ejemplo.
- Para los clústeres MRS 1.x y 3.x, haga lo siguiente:
- Inicie sesión en la consola de gestión de MRS.
- Haga clic en el nombre del clúster para ir a su página de detalles.
- Haga clic en la pestaña Components y, a continuación, haga Presto en la lista de componentes. En la página que se muestra, haga clic en la pestaña Configurations y luego en la subpestaña All Configurations.
- En la página de configuración de Presto que se muestra, busque connector-customize.
- Establezca Name y Value de la siguiente manera:
Name: mysql.connector.name
Value: mysql
- Haga clic en el signo más (+) para agregar tres campos más y establezca Name y Value de acuerdo con la siguiente tabla. A continuación, haga clic en Save.
Nombre
Valor
Descripción
mysql.connection-url
jdbc:mysql://xxx.xxx.xxx.xxx:3306
Grupo de conexiones de base de datos
mysql.connection-user
xxxx
Nombre de usuario de la base de datos
mysql.connection-password
xxxx
Contraseña de base de datos
- Reinicie el servicio Presto.
- Ejecute el siguiente comando para conectarse al servidor Presto del clúster:
presto_cli.sh --krb5-config-path {krb5.conf path} --krb5-principal {User principal} --krb5-keytab-path {user.keytab path} --user {presto username}
- Inicie sesión en Presto y ejecute el comando show catalogs para comprobar si se puede consultar la lista de orígenes de datos mysql de Presto.
Ejecute el comando show schemas from mysql para consultar la base de datos de MySQL.
- Para los clústeres de x de MRS 2., haga lo siguiente:
- Cree el archivo de configuración mysql.properties que contiene el siguiente contenido:
connector.name=mysql
connection-url=jdbc:mysql://mysqlIp:3306
connection-user=Username
connection-password=Password
- mysqlIp indica la dirección IP de la instancia MySQL, que debe poder comunicarse con la red MRS.
- El nombre de usuario y la contraseña son los que se usan para iniciar sesión en la base de datos MySQL.
- Cargue el archivo de configuración al directorio /opt/Bigdata/MRS_Current/1_14_Coordinator/etc/catalog/ en el nodo master (donde reside la instancia de Coordinador) y al directorio /opt/Bigdata/MRS_Current/1_14_Worker/etc/catalog/ en el nodo core (dependiendo del directorio real en el clúster) y cambie el grupo de propietarios de archivos a omm:wheel.
- Reinicie el servicio Presto.
- Cree el archivo de configuración mysql.properties que contiene el siguiente contenido:
Desarrollo de servicios de big data Preguntas frecuentes
- ¿Puede MRS ejecutar múltiples tareas de Flume a la vez?
- ¿Cómo cambio los registros de FlumeClient a los registros estándar?
- ¿Dónde se almacenan los archivos JAR y las variables de entorno de Hadoop?
- ¿Qué algoritmos de compresión admite HBase?
- ¿Puede MRS escribir datos en HBase a través de la tabla externa de HBase de Hive?
- ¿Cómo veo los registros de HBase?
- ¿Cómo configuro el TTL para una tabla HBase?
- ¿Cómo me conecto a HBase de MRS a través de HappyBase?
- ¿Cómo cambio el número de réplicas HDFS?
- ¿Cómo modifico la clase de conmutación HDFS activo y en espera?
- ¿Cuál es el tipo de número recomendado de DynamoDB en las tablas Hive?
- ¿Se puede interconectar el controlador Hive con DBCP2?
- ¿Cómo puedo ver la tabla Hive creada por otro usuario?
- ¿Dónde puedo descargar el paquete de dependencias (com.huawei.gaussc10) en el proyecto de ejemplo de Hive?
- ¿Puedo exportar el resultado de la consulta de datos de Hive?
- ¿Cómo lo hago si ocurre un error cuando Hive ejecuta el comando beeline -e para ejecutar varias sentencias?
- ¿Cómo lo hago si un trabajo "hivesql/hivescript" no se envía después de agregar Hive?
- ¿Qué pasa si un archivo de Excel descargado en Hue no se puede abrir?
- ¿Cómo lo hago si las sesiones no se liberan después de que Hue se conecta a HiveServer y se muestra el mensaje de error "ver max user connections"?
- ¿Cómo se restablecen los datos de Kafka?
- ¿Cómo obtengo la versión de cliente de MRS Kafka?
- ¿Qué protocolos de acceso son compatibles con Kafka?
- ¿Cómo lo hago si se muestra un mensaje de error "Not Authorized to access group xxx" cuando se consume un Kafka topic?
- ¿Qué algoritmos de compresión soporta Kudu?
- ¿Cómo puedo ver los registros de Kudu?
- ¿Cómo manejo las excepciones del servicio Kudu generadas durante la creación de clústeres?
- ¿Cuáles son las diferencias entre la construcción de proyectos de ejemplo y el desarrollo de aplicaciones? ¿Es compatible el código Python?
- ¿OpenTSDB soporta las API de Python?
- ¿Cómo configuro otras fuentes de datos en Presto?
- ¿Cómo actualizo el certificado Ranger?
- ¿Cómo me conecto a Spark Shell desde MRS?
- ¿Cómo me conecto a Spark Beeline desde MRS?
- ¿Dónde se almacenan los registros de ejecución de los trabajos de Spark?
- ¿Cómo especifico una ruta de acceso de registro al enviar una tarea en un clúster MRS Storm?
- ¿Cómo puedo comprobar si la configuración ResourceManager de Yarn es correcta?
- ¿Cómo modifico el parámetro allow_drop_detached de ClickHouse?
- ¿Cómo lo hago si se informa de una alarma que indica memoria insuficiente durante la ejecución de la tarea de Spark?
- ¿Cómo agrego una política de eliminación periódica para evitar registros de tabla de sistema ClickHouse de gran tamaño?
- ¿Cómo obtengo un archivo Spark JAR?
- ¿Por qué se genera una alarma cuando el proceso NameNode no se reinicia después de modificar el archivo hdfs-site.xml?
- Se necesita mucho tiempo para que Spark SQL acceda a las tablas particionadas de Hive antes del inicio de Job
- ¿Qué debo hacer si spark.yarn.executor.memoryOverhead no tiene efecto?
- ¿Cómo cambio la zona horaria del servicio ClickHouse?
- ¿Qué debo hacer si falla la conexión con el servidor ClickHouse? Código de error: 516
Comentarios
¿Le pareció útil esta página?
Deje algún comentariomore