文档首页/ MapReduce服务 MRS/ 用户指南（安卡拉区域）/ Jupyter Notebook采用自定义Python对接MRS/ 验证Jupyter Notebook访问MRS
更新时间：2024-11-29 GMT+08:00
查看PDF
分享

验证Jupyter Notebook访问MRS

  1. 在客户端节点执行如下命令，启动Jupyter Notebook：

    PYSPARK_PYTHON=./Python/bin/python3 PYSPARK_DRIVER_PYTHON=jupyter-notebook PYSPARK_DRIVER_PYTHON_OPTS="--allow-root" pyspark --master yarn --executor-memory 2G --driver-memory 1G

  1. 使用弹性IP:9999，登录到jupyter webui（保证ECS的安全组对外放通本地公网IP和9999端口），登录密码为2设置的密码。

  2. 创建代码。

    创建个新的python3任务，使用Spark读取文件。

    结果如下：

    登录到Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用：

  3. 验证pandas库调用。