更新时间:2022-12-14 GMT+08:00

如何通过集群外的节点访问MRS集群?

创建集群外Linux操作系统ECS节点访问MRS集群

  1. 创建一个集群外ECS节点。

    ECS节点的“可用区”“虚拟私有云”“安全组”,需要和待访问集群的配置相同。

  1. 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
  2. 配置集群安全组规则。

    1. 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。

    2. 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”配置ECS节点的IP和放开所有端口。

    3. 安全组规则添加完成后,可以直接下载并安装客户端到集群外ECS节点。
    4. 使用客户端。

      使用客户端安装用户,登录客户端节点,执行以下命令切换到客户端目录。

      cd /opt/hadoopclient

      执行以下命令加载环境变量。

      source bigdata_env

      如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则通常情况下无需认证。

      kinit MRS集群用户

      例如:

      kinit admin

      直接执行组件的客户端命令。

      例如:

      使用HDFS客户端命令查看HDFS根目录文件。

      hdfs dfs -ls /

      Found 15 items
      drwxrwx--x   - hive       hive                0 2021-10-26 16:30 /apps
      drwxr-xr-x   - hdfs       hadoop              0 2021-10-18 20:54 /datasets
      drwxr-xr-x   - hdfs       hadoop              0 2021-10-18 20:54 /datastore
      drwxrwx---+  - flink      hadoop              0 2021-10-18 21:10 /flink
      drwxr-x---   - flume      hadoop              0 2021-10-18 20:54 /flume
      drwxrwx--x   - hbase      hadoop              0 2021-10-30 07:31 /hbase
      ...