更新时间:2023-06-15 GMT+08:00

HBase连接

介绍

通过HBase连接,可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。

连接样例

{
  "links": [
    {
      "link-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "linkConfig.hbaseType",
                "value": "MRS"
              },
              {
                "name": "linkConfig.host",
                "value": "192.168.0.34"
              },
              {
                "name": "linkConfig.user",
                "value": "zephyr"
              },
              {
                "name": "linkConfig.password",
                "value": "Add password here."
              },
              {
                "name": "linkConfig.authType",
                "value": "KERBEROS"
              },
              {
                "name": "linkConfig.serviceType",
                "value": "HDFS"
              },
              {
                "name": "linkConfig.hBaseVersion",
                "value": "HBASE_2_X"
              },
              {
                "name": "linkConfig.runMode",
                "value": "EMBEDDED"
              }
            ],
            "name": "linkConfig"
          }
        ],
        "extended-configs": {
          "name": "linkConfig.extendedFields",
          "value": "eyL1c2VDbHVzdGVyQ29uZmlnIjoiZmFsc2UiJCLjbHVzdGVyQ29uZmlnUHLpbmNpcGFsIjoiemVwaHlyIn0="
        }
      },
      "name": "mrs_hbase_dlf",
      "connector-name": "hbase-connector"
    }
  ]
}

连接参数

参数

是否必选

类型

说明

linkConfig.hbaseType

枚举

HBase类型:

  • CloudTable:表示连接CloudTable服务。
  • MRS:表示连接MRS的HBase。
  • FusionInsight HD:表示连接FusionInsight HD的HBase。
  • Apache Hadoop:表示连接开源Apache Hadoop的HBase。

linkConfig.uri

String

连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”

llinkConfig.host

String

连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。

linkConfig.port

String

连接FusionInsight HD时,需要配置Manager平台的端口。

linkConfig.casPort

String

连接FusionInsight HD时,需要配置与FusionInsight HD对接的CAS Server的端口。

linkConfig.hBaseVersion

枚举

HBase版本:

  • HBASE_1_X
  • HBASE_2_X

linkConfig.user

String

登录Manager平台的用户名,使用集群配置时不用配置

linkConfig.password

String

登录Manager平台的密码,使用集群配置时不用配置

linkConfig.authType

枚举

认证类型,分为以下两种:
  • Simple:非安全模式选择Simple鉴权。
  • Kerberos:安全模式选择Kerberos鉴权。

linkConfig.principal

String

Kerveros认证所需的Principal,您也可以联系管理员获取此帐号。

linkConfig.keytab

FileContent

Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。

linkConfig.serviceType

String

服务类型。目前支持HDFS和HBase。

linkConfig.runMode

枚举

“HBase_2_X”版本支持该参数。支持以下模式:
  • EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
  • STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。

    选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。

  • Agent:连接实例运行在Agent上。

    若不使用AGENT运行模式,且在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。

linkConfig.properties

Map

属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值