配置Windows通过EIP访问集群Spark

操作场景

该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。

本章节以运行SparkScalaExample样例为例进行说明。

操作步骤

1. 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
   1. 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。

      具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。

   2. 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。

   

2. 将krb5.conf文件中的IP地址修改为对应IP的主机名称。
3. 配置集群安全组规则。
   1. 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。

      

   2. 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。

      

4. 在Manager界面选择“集群 > 服务 > Spark2x > 更多 > 下载客户端”，将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下。
   对hdfs-site.xml添加如下内容：

   <property>
           <name>dfs.client.use.datanode.hostname</name>
           <value>true</value>
   </property>

   对pom.xml文件加入如下内容：

   <dependency>
        <groupId>com.huawei.mrs</groupId>
        <artifactId>hadoop-plugins</artifactId>
        <version>部件包版本-302002</version>
   </dependency>

5. 运行样例代码前，对SparkSession加入.master("local").config("spark.driver.host", "localhost")，配置Spark为本地运行模式。并将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。