更新时间:2024-07-24 GMT+08:00

使用Spark客户端

MRS集群创建完成后,可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上:

  • 集群内部节点:MRS集群创建完成后,集群内的master和core节点默认已经安装好客户端,详情请参见集群内节点使用MRS客户端章节,登录安装客户端的节点。
  • 集群外部节点:用户可以将客户端安装在集群外部节点上,详情请参见集群外节点使用MRS客户端章节,登录安装客户端的节点。

使用Spark客户端

  1. 登录安装客户端的节点。
  2. 执行以下命令,切换到客户端安装目录。

    cd /opt/client

  3. 执行以下命令配置环境变量。

    source bigdata_env

  4. 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。

    kinit 组件业务用户

  5. 直接执行Spark Shell命令。例如:

    spark-beeline