更新时间:2024-06-14 GMT+08:00
分享

本地运行Spark程序连接MRS集群的Hive、HDFS

问题

本地运行Spark程序时,如何连接MRS集群的Hive和HDFS?

回答

  1. 为每一个Master节点申请并绑定弹性公网IP。
  2. 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat /etc/hosts后,把hosts文件中的ip与hostname映射关系拷贝到“C:\Windows\System32\drivers\etc\hosts”中。其中主机名请以查询结果为准。

    192.168.0.90 node-master1BedB.089d8c43-12d5-410c-b980-c2728a305be3.com
    192.168.0.129 node-ana-corezLaR.089d8c43-12d5-410c-b980-c2728a305be3.com

  3. root用户登录MRS集群任意一个Master后台,执行命令cat /etc/hosts,获取hosts文件中的IP与hostname映射关系。
  4. 在本地Windows的“C:\Windows\System32\drivers\etc\hosts”中,配置3中获取的映射关系,并将所有Master节点的IP修改为对应节点绑定的弹性公网IP。
  5. 将MRS集群中的“/opt/client/Hive/Beeline/conf/core-site.xml”“/opt/client/Hive/config/hiveclient.properties”“/opt/client/Hive/config/hive-site.xml”放入工程的conf目录中。
  6. 登录MRS Manager,选择系统设置 > 用户管理
  7. 在用户名中选择一个拥有Hive权限的用户,然后在右侧“操作”列中选择更多 >下载认证凭据,保存后解压得到用户的user.keytab文件与krb5.conf文件。
  8. 将krb5.conf文件中Master节点对用的IP修改为对应节点绑定的弹性公网IP。并将user.keytab文件与krb5.conf文件放到工程的conf目录中。
  9. 修改MRS集群的安全组规则,将IDEA所在Windows的IP策略改为全部放通。

相关文档