Hive连接

介绍

通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。

连接样例

本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。

{
  "links": [
    {
      "link-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "linkConfig.host",
                "value": "10.120.205.230"
              },
			  {
                "name": "linkConfig.authType",
                "value": "KERBEROS"
              },
              {
                "name": "linkConfig.user",
                "value": "cdm"
              },
              {
                "name": "linkConfig.password",
                "value": "Add password here"
              } 
            ],
            "name": "linkConfig"
          }
        ]
      },
      "name": "hive_link",
      "connector-name": "hive-connector"
    }
  ]
}

连接参数

参数	是否必选	类型	说明
llinkConfig.host	是	String	MRS Manager的IP地址。
linkConfig.authType	是	枚举	访问MRS的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。
linkConfig.principal	否	String	Kerveros认证所需的Principal，您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。
linkConfig.keytab	否	FileContent	Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。
linkConfig.hiveVersion	是	枚举	Hive版本： HIVE_1_X HIVE_3_X
linkConfig.user	否	String	登录Manager平台的用户名，使用集群配置时不用配置
linkConfig.password	否	String	登录Manager平台的密码，使用集群配置时不用配置
linkConfig.uri	否	String	连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”
linkConfig.hiveMsUris	否	String	连接Apache Hadoop时的Hive元数据地址，参考 hive.metastore.uris配置项。例如：thrift://host-192-168-1-212:9083
linkConfig.obsSupport	是	Boolean	需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。
linkConfig.runMode	是	枚举	“HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式或者配置不同的Agent。说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。
linkConfig.accessKey	否	String	访问标识（AK）。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
linkConfig.securityKey	否	String	密钥（SK）。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
linkConfig.properties	否	Map	属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值