HDFS连接
介绍
通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。
连接样例
{
"links": [
{
"link-config-values": {
"configs": [
{
"inputs": [
{
"name": "linkConfig.hadoopType",
"value": "FusionInsight HD"
},
{
"name": "linkConfig.host",
"value": "10.120.205.143"
},
{
"name": "linkConfig.casPort",
"value": "20009"
},
{
"name": "linkConfig.port",
"value": "28443"
},
{
"name": "linkConfig.authType",
"value": "KERBEROS"
},
{
"name": "linkConfig.user",
"value": "admin"
},
{
"name": "linkConfig.password",
"value": "Add password here"
},
{
"name": "linkConfig.runMode",
"value": "STANDALONE"
}
],
"name": "linkConfig"
}
]
},
"name": "hdfslink",
"connector-name": "hdfs-connector"
}
]
}
连接参数
|
参数 |
是否必选 |
类型 |
说明 |
|---|---|---|---|
|
linkConfig.hadoopType |
是 |
枚举 |
Hadoop类型：
|
|
linkConfig.uri |
否 |
String |
连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”。 |
|
linkConfig.host |
否 |
String |
连接MRS或FusionInsight HD时，需要配置Manager平台的IP地址。 |
|
linkConfig.port |
否 |
String |
连接FusionInsight HD时，需要配置Manager平台的端口。 |
|
linkConfig.casPort |
否 |
String |
连接FusionInsight HD时，需要配置与FusionInsight HD对接的CAS Server的端口。 |
|
linkConfig.user |
否 |
String |
登录Manager平台的用户名，使用集群配置时不用配置 |
|
linkConfig.password |
否 |
String |
登录Manager平台的密码，使用集群配置时不用配置 |
|
linkConfig.authType |
否 |
枚举 |
认证类型，分为以下两种：
|
|
linkConfig.principal |
否 |
String |
Kerveros认证所需的Principal，您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 |
|
linkConfig.keytab |
否 |
FileContent |
Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 |
|
linkConfig.runMode |
否 |
枚举 |
|
|
linkConfig.properties |
否 |
Map |
属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值 |
