支持访问MRS上的Hudi表
SQL on Hudi支持对存储在MRS上的hudi表进行访问。
对接多套MRS集群
通常情况下由于JDK的限制,同一JVM同时仅能保存一份kerberos配置文件信息,导致一套DWS集群无法同时通过SQL on Hudi并发访问多套MRS集群上的hudi表。但通过执行以下操作可访问多套MRS集群上的hudi表。
- 获取各MRS集群已下载客户端中的krb5.conf文件。
- 任取一套MRS集群的krb5.conf文件作为待合并文件,以下简称集群A。
- 将集群B的KDC域信息添加到集群A配置文件realms中。
实际操作时需要将集群realms或者domain_realm中实际的KDC域信息进行合并。
示例:[realms] CLUSTER.A.COM = { admin_server = ClusterA_SERVER_IP:PORT kdc = ClusterA_KDC_IP:PORT kdc = ClusterA_KDC_IP:PORT } CLUSTER.B.COM = { admin_server = ClusterB_SERVER_IP:PORT kdc = ClusterB_KDC_IP:PORT kdc = ClusterB_KDC_IP:PORT }
- 将集群B的域信息添加到集群A配置文件domain_realm中。
示例:
[domain_realm] .cluster.a.com = CLUSTER.A.COM .cluster.b.com = CLUSTER.B.COM
- 将合并后的krb5.conf配置文件更新到各集群各个节点原路径下替换原krb5.conf文件。