支持访问MRS上的Hudi表
SQL on Hudi支持对存储在MRS上的hudi表进行访问。该功能仅9.1.0及以上集群版本支持。
对接多套MRS集群规避
由于JDK的限制,同一JVM同时仅能保存一份kerberos配置文件信息,导致一套DWS集群无法同时通过SQL on Hudi并发访问多套MRS集群上的hudi表。通过执行以下操作可以进行规避。
- 获取各MRS集群已下载客户端中的krb5.conf文件。
- 任取一套MRS集群的krb5.conf文件作为待合并文件,以下简称集群A。
- 将集群B的KDC域信息添加到集群A配置文件realms中。
示例:
[realms] CLUSTER.A.COM = { admin_server = ClusterA_SERVER_IP:PORT kdc = ClusterA_KDC_IP:PORT kdc = ClusterA_KDC_IP:PORT } CLUSTER.B.COM = { admin_server = ClusterB_SERVER_IP:PORT kdc = ClusterB_KDC_IP:PORT kdc = ClusterB_KDC_IP:PORT }
- 将集群B的域信息添加到集群A配置文件domain_realm中。
示例:
[domain_realm] .cluster.a.com = CLUSTER.A.COM .cluster.b.com = CLUSTER.B.COM
- 将合并后的krb5.conf配置文件更新到各集群各个节点原路径下替换原krb5.conf文件。
以上示例内容仅供参考,实际操作时需要将集群realms或者domain_realm中真实KDC域信息进行合并。