文档首页/ MapReduce服务 MRS/ 开发指南（普通版_2.x）/ Spark开发指南/ Spark应用开发常见问题/ 本地运行Spark程序连接MRS集群的Hive、HDFS
更新时间：2024-06-14 GMT+08:00
查看PDF
分享

本地运行Spark程序连接MRS集群的Hive、HDFS

问题

本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？

回答

  1. 为每一个Master节点申请并绑定弹性公网IP。
  2. 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc/hosts后，把hosts文件中的ip与hostname映射关系拷贝到“C:\Windows\System32\drivers\etc\hosts”中。其中主机名请以查询结果为准。 

    192.168.0.90 node-master1BedB.089d8c43-12d5-410c-b980-c2728a305be3.com
192.168.0.129 node-ana-corezLaR.089d8c43-12d5-410c-b980-c2728a305be3.com

  3. 以root用户登录MRS集群任意一个Master后台，执行命令cat /etc/hosts，获取hosts文件中的IP与hostname映射关系。
  4. 在本地Windows的“C:\Windows\System32\drivers\etc\hosts”中，配置3中获取的映射关系，并将所有Master节点的IP修改为对应节点绑定的弹性公网IP。
  5. 将MRS集群中的“/opt/client/Hive/Beeline/conf/core-site.xml”、“/opt/client/Hive/config/hiveclient.properties”、“/opt/client/Hive/config/hive-site.xml”放入工程的conf目录中。
  6. 登录MRS Manager，选择“系统设置 > 用户管理”。
  7. 在用户名中选择一个拥有Hive权限的用户，然后在右侧“操作”列中选择“更多 >下载认证凭据”，保存后解压得到用户的user.keytab文件与krb5.conf文件。
  8. 将krb5.conf文件中Master节点对用的IP修改为对应节点绑定的弹性公网IP。并将user.keytab文件与krb5.conf文件放到工程的conf目录中。
  9. 修改MRS集群的安全组规则，将IDEA所在Windows的IP策略改为全部放通。

相关文档