更新时间:2023-03-17 GMT+08:00
使用Spark客户端
MRS集群创建完成后,可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上:
- 集群内部节点:MRS集群创建完成后,集群内的master和core节点默认已经安装好客户端,详情请参见章节,登录安装客户端的节点。
- 集群外部节点:用户可以将客户端安装在集群外部节点上,详情请参见章节,登录安装客户端的节点。
使用Spark客户端
- 请根据客户端所在位置,参考,或者章节,登录安装客户端的节点。
- 执行以下命令,切换到客户端安装目录。
cd /opt/client
- 执行以下命令配置环境变量。
source bigdata_env
- 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
kinit 组件业务用户
- 直接执行Spark Shell命令。例如:
spark-beeline
父主题: 使用Spark