更新时间:2024-10-31 GMT+08:00
配置Windows通过EIP访问普通模式集群HDFS
操作场景
该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。
本章节以运行HdfsExample样例为例进行说明。
操作步骤
- 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
- 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。
- 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。
- 配置集群安全组规则。
- 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”,将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下,并对hdfs-site.xml添加以下内容:
<property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property>
(将datanode的通信改成通过hostname)
在运行样例工程时,可能会报一个没有hadoop_home的异常,这个异常可以忽略。
父主题: HDFS应用开发常见问题