更新时间:2023-10-14 GMT+08:00
分享

MRS如何连接spark-shell?

  1. 用root用户登录集群Master节点。
  2. 配置环境变量。

    source 客户端安装目录/bigdata_env

  3. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。

    kinit MRS集群业务用户

    例如:

    • “机机”用户请执行:kinit -kt user.keytab sparkuser
    • “人机”用户请执行:kinit sparkuser
  4. 执行如下命令连接Spark组件的客户端。

    spark-shell

分享:

大数据业务开发 所有常见问题

more