更新时间:2024-06-06 GMT+08:00

Hive连接

介绍

通过Hive连接,可以对MRS的Hive数据源进行抽取、加载数据。

连接样例

本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

{
  "links": [
    {
      "link-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "linkConfig.host",
                "value": "10.120.205.230"
              },
			  {
                "name": "linkConfig.authType",
                "value": "KERBEROS"
              },
              {
                "name": "linkConfig.user",
                "value": "cdm"
              },
              {
                "name": "linkConfig.password",
                "value": "Add password here"
              } 
            ],
            "name": "linkConfig"
          }
        ]
      },
      "name": "hive_link",
      "connector-name": "hive-connector"
    }
  ]
}

连接参数

参数

是否必选

类型

说明

llinkConfig.host

String

MRS Manager的IP地址。

linkConfig.authType

枚举

访问MRS的认证类型:
  • SIMPLE:非安全模式选择Simple鉴权。
  • KERBEROS:安全模式选择Kerberos鉴权。

linkConfig.principal

String

Kerveros认证所需的Principal,您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。

linkConfig.keytab

FileContent

Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。

linkConfig.hiveVersion

枚举

Hive版本:

  • HIVE_1_X
  • HIVE_3_X

linkConfig.user

String

登录Manager平台的用户名,使用集群配置时不用配置

linkConfig.password

String

登录Manager平台的密码,使用集群配置时不用配置

linkConfig.uri

String

连接Apache Hadoop时的Namenode URI地址,格式为“ip:port”

linkConfig.hiveMsUris

String

连接Apache Hadoop时的Hive元数据地址,参考 hive.metastore.uris配置项。例如:thrift://host-192-168-1-212:9083

linkConfig.obsSupport

Boolean

需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。

linkConfig.runMode

枚举

“HIVE_3_X”版本支持该参数。支持以下模式:

  • EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
  • STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。

    说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。

linkConfig.accessKey

String

访问标识(AK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

linkConfig.securityKey

String

密钥(SK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

linkConfig.properties

Map

属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值