Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda/ MapReduce Service/ Guía del usuario/ Interconectar Jupyter Notebook con MRS usando Python personalizado/ Verificación de que Jupyter Notebook puede acceder a MRS
Actualización más reciente 2023-11-20 GMT+08:00
Ver PDF
Compartir

Verificación de que Jupyter Notebook puede acceder a MRS

  1. Ejecute el siguiente comando en el nodo cliente para iniciar Jupyter Notebook:

    PYSPARK_PYTHON=./Python/bin/python3 PYSPARK_DRIVER_PYTHON=jupyter-notebook PYSPARK_DRIVER_PYTHON_OPTS="--allow-root" pyspark --master yarn --executor-memory 2G --driver-memory 1G

  1. Usar EIP:9999 para iniciar sesión en la interfaz de usuario web de Jupyter (asegúrese de que el grupo de seguridad ECS permita la dirección IP pública local y el puerto 9999). La contraseña de inicio de sesión es la contraseña configurada en 2.

  2. Crear código.

    Cree una tarea de Python 3 y usa Spark para leer archivos.

    El resultado es el siguiente:

    Inicie sesión en FusionInsight Manager y vea la solicitud de PySpark enviada en la interfaz de usuario web de YARN.

  3. Verifique que se puede invocar a la biblioteca de pandas.