文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）/ 使用Spark（MRS 3.x之前版本）/ 使用Spark客户端
更新时间：2024-07-24 GMT+08:00
查看PDF
分享

使用Spark客户端

MRS集群创建完成后，可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上：

  • 集群内部节点：MRS集群创建完成后，集群内的master和core节点默认已经安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。
  • 集群外部节点：用户可以将客户端安装在集群外部节点上，详情请参见集群外节点使用MRS客户端章节，登录安装客户端的节点。

使用Spark客户端

  1. 登录安装客户端的节点。
  2. 执行以下命令，切换到客户端安装目录。

    cd /opt/client

  3. 执行以下命令配置环境变量。

    source bigdata_env

  4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

    kinit 组件业务用户

  5. 直接执行Spark Shell命令。例如：

    spark-beeline