更新时间:2023-06-20 GMT+08:00
分享

配置Windows通过EIP访问集群Spark

操作场景

该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。

本章节以运行SparkScalaExample样例为例进行说明。

操作步骤

  1. 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。

    1. 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。

      具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。

    2. 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。

  2. 将krb5.conf文件中的IP地址修改为对应IP的主机名称。
  3. 配置集群安全组规则。

    1. 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。

    2. 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。

  4. 在Manager界面选择“集群 > 服务 > Spark2x > 更多 > 下载客户端”,将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下。

    对hdfs-site.xml添加如下内容:
    <property>
            <name>dfs.client.use.datanode.hostname</name>
            <value>true</value>
    </property>

    对pom.xml文件加入如下内容:

    <dependency>
         <groupId>com.huawei.mrs</groupId>
         <artifactId>hadoop-plugins</artifactId>
         <version>部件包版本-302002</version>
    </dependency>

  5. 运行样例代码前,对SparkSession加入.master("local").config("spark.driver.host", "localhost"),配置Spark为本地运行模式。并将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。

分享:

    相关文档

    相关产品