更新时间:2024-07-04 GMT+08:00
使用Spark客户端
MRS集群创建完成后,可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上:
- 集群内部节点:MRS集群创建完成后,集群内的master和core节点默认已经安装好客户端,详情请参见集群内节点使用MRS客户端章节,登录安装客户端的节点。
- 集群外部节点:用户可以将客户端安装在集群外部节点上,详情请参见集群外节点使用MRS客户端章节,登录安装客户端的节点。
使用Spark客户端
- 登录安装客户端的节点。
- 执行以下命令,切换到客户端安装目录。
cd /opt/client
- 执行以下命令配置环境变量。
source bigdata_env
- 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
kinit 组件业务用户
- 直接执行Spark Shell命令。例如:
spark-beeline
父主题: 使用Spark(MRS 3.x之前版本)