更新时间:2024-08-05 GMT+08:00

配置Windows通过EIP访问安全模式集群HDFS

操作场景

该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。

本章节以运行HdfsExample样例为例进行说明。

操作步骤

  1. 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。

    1. 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。

      具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。

    2. 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。

  2. 将krb5.conf文件中的IP地址修改为对应IP的主机名称。
  3. 配置集群安全组规则。

    1. 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。

    2. 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。

  4. 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”,将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下,并对hdfs-site.xml添加以下内容:

    <property>
     <name>dfs.client.use.datanode.hostname</name>
     <value>true</value>
     </property>

    (将datanode的通信改成通过hostname)

    修改该操作后,在运行样例工程时,可能会报一个没有hadoop_home的异常,这个不影响使用,可以忽略。

  5. 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。