HDFS连接

介绍

通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。

连接样例

{
    "links": [
        {
            "link-config-values": {
                "configs": [
                    {
                        "inputs": [
                            {
                                "name": "linkConfig.hadoopType",
                                "value": "FusionInsight HD"
                            },
                            {
                                "name": "linkConfig.host",
                                "value": "10.120.205.143"
                            },
                            {
                                "name": "linkConfig.casPort",
                                "value": "20009"
                            },
                            {
                                "name": "linkConfig.port",
                                "value": "28443"
                            },
                            {
                                "name": "linkConfig.authType",
                                "value": "KERBEROS"
                            },
                            {
                                "name": "linkConfig.user",
                                "value": "admin"
                            },
                            {
                                "name": "linkConfig.password",
                                "value": "Add password here"
                            },
                            {
                                "name": "linkConfig.runMode",
                                "value": "STANDALONE"
                            }
                        ],
                        "name": "linkConfig"
                    }
                ]
            },
            "name": "hdfslink",
            "connector-name": "hdfs-connector"
        }
    ]
}

连接参数

参数	是否必选	类型	说明
linkConfig.hadoopType	是	枚举	Hadoop类型： MRS：表示连接MRS的HDFS。 FusionInsight HD：表示连接FusionInsight HD的HDFS。 Apache Hadoop：表示连接开源Apache Hadoop的HDFS。
linkConfig.uri	否	String	连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”。
linkConfig.host	否	String	连接MRS或FusionInsight HD时，需要配置Manager平台的IP地址。
linkConfig.port	否	String	连接FusionInsight HD时，需要配置Manager平台的端口。
linkConfig.casPort	否	String	连接FusionInsight HD时，需要配置与FusionInsight HD对接的CAS Server的端口。
linkConfig.user	否	String	登录Manager平台的用户名，使用集群配置时不用配置
linkConfig.password	否	String	登录Manager平台的密码，使用集群配置时不用配置
linkConfig.authType	否	枚举	认证类型，分为以下两种： Simple：非安全模式选择Simple鉴权。 Kerberos：安全模式选择Kerberos鉴权。
linkConfig.principal	否	String	Kerberos认证所需的Principal，您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。
linkConfig.keytab	否	FileContent	Kerberos认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。
linkConfig.runMode	否	枚举	选择HDFS连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。
linkConfig.properties	否	Map	属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值