文档首页/ 云数据迁移 CDM/ API参考/ 公共数据结构/ 连接参数说明/ Hive连接
更新时间：2024-06-06 GMT+08:00
查看PDF
分享

Hive连接

介绍

通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。

连接样例

本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。

{
  "links": [
    {
      "link-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "linkConfig.host",
                "value": "10.120.205.230"
              },
			  {
                "name": "linkConfig.authType",
                "value": "KERBEROS"
              },
              {
                "name": "linkConfig.user",
                "value": "cdm"
              },
              {
                "name": "linkConfig.password",
                "value": "Add password here"
              } 
            ],
            "name": "linkConfig"
          }
        ]
      },
      "name": "hive_link",
      "connector-name": "hive-connector"
    }
  ]
}

连接参数

参数

是否必选

类型

说明

llinkConfig.host

是

String

MRS Manager的IP地址。

linkConfig.authType

是

枚举
访问MRS的认证类型：
  • SIMPLE：非安全模式选择Simple鉴权。
  • KERBEROS：安全模式选择Kerberos鉴权。

linkConfig.principal

否

String

Kerveros认证所需的Principal，您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。

linkConfig.keytab

否

FileContent

Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。

linkConfig.hiveVersion

是

枚举

Hive版本：

  • HIVE_1_X
  • HIVE_3_X

linkConfig.user

否

String

登录Manager平台的用户名，使用集群配置时不用配置

linkConfig.password

否

String

登录Manager平台的密码，使用集群配置时不用配置

linkConfig.uri

否

String

连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”

linkConfig.hiveMsUris

否

String

连接Apache Hadoop时的Hive元数据地址，参考 hive.metastore.uris配置项。例如：thrift://host-192-168-1-212:9083

linkConfig.obsSupport

是

Boolean

需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。

linkConfig.runMode

是

枚举

“HIVE_3_X”版本支持该参数。支持以下模式：

  • EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。
  • STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。

    说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。

linkConfig.accessKey

否

String

访问标识（AK）。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。

linkConfig.securityKey

否

String

密钥（SK）。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。

linkConfig.properties

否

Map

属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值
父主题： 连接参数说明

相关文档