Hive连接
介绍
通过Hive连接,可以对MRS的Hive数据源进行抽取、加载数据。
连接样例
本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
{ "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.host", "value": "10.120.205.230" }, { "name": "linkConfig.authType", "value": "KERBEROS" }, { "name": "linkConfig.user", "value": "cdm" }, { "name": "linkConfig.password", "value": "Add password here" } ], "name": "linkConfig" } ] }, "name": "hive_link", "connector-name": "hive-connector" } ] }
连接参数
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
llinkConfig.host |
是 |
String |
MRS Manager的IP地址。 |
linkConfig.authType |
是 |
枚举 |
访问MRS的认证类型:
|
linkConfig.principal |
否 |
String |
Kerveros认证所需的Principal,您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 |
linkConfig.keytab |
否 |
FileContent |
Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 |
linkConfig.hiveVersion |
是 |
枚举 |
Hive版本:
|
linkConfig.user |
否 |
String |
登录Manager平台的用户名,使用集群配置时不用配置 |
linkConfig.password |
否 |
String |
登录Manager平台的密码,使用集群配置时不用配置 |
linkConfig.uri |
否 |
String |
连接Apache Hadoop时的Namenode URI地址,格式为“ip:port” |
linkConfig.hiveMsUris |
否 |
String |
连接Apache Hadoop时的Hive元数据地址,参考 hive.metastore.uris配置项。例如:thrift://host-192-168-1-212:9083 |
linkConfig.obsSupport |
是 |
Boolean |
需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 |
linkConfig.runMode |
是 |
枚举 |
“HIVE_3_X”版本支持该参数。支持以下模式: |
linkConfig.accessKey |
否 |
String |
访问标识(AK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 |
linkConfig.securityKey |
否 |
String |
密钥(SK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 |
linkConfig.properties |
否 |
Map |
属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 |