更新时间:2024-06-14 GMT+08:00
分享

准备Spark应用运行环境

操作场景

Spark的运行环境(即客户端)只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。

准备运行调测环境

  1. 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。

    • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
    • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
    • 弹性云服务器的网卡需要与MRS集群在同一个网段中。

  2. 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。
  3. 下载客户端程序,请参考下载MRS客户端
  4. 登录客户端下载目标节点,以root用户安装集群客户端。

    1. 执行以下命令解压客户端包。

      tar -xvf /opt/MRS_Services_Client.tar

    2. 执行以下命令校验安装文件包。
      sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256
      MRS_Services_ClientConfig.tar:OK
    3. 执行以下命令解压安装文件包。

      tar -xvf MRS_Services_ClientConfig.tar

    4. 执行如下命令安装客户端到指定目录(绝对路径),例如“/opt/client”。目录会自动创建。

      cd /opt/MRS_Services_ClientConfig

      sh install.sh /opt/client

      Components client installation is complete.

相关文档