更新时间:2026-04-20 GMT+08:00
支持访问MRS上的Hudi表
SQL on Hudi支持对存储在MRS上的hudi表进行访问。
DWS的hudi外表不支持读取使用了Schema演进特性的hudi表。(Schema演进(Schema Evolution)是指在数据表的生命周期中,允许用户能够方便地修改Hudi表的当前Schema,以适应数据需求的变化。这包括添加、删除或修改表中的字段。)
对接多套MRS集群
通常情况下由于JDK的限制,同一JVM同时仅能保存一份kerberos配置文件信息,导致一套DWS集群无法同时通过SQL on Hudi并发访问多套MRS集群上的hudi表。但通过执行以下操作可访问多套MRS集群上的hudi表。
- 获取各MRS集群已下载客户端中的krb5.conf文件。
- 任取一套MRS集群的krb5.conf文件作为待合并文件,以下简称集群A。
- 将集群B的KDC域信息添加到集群A配置文件realms中。
实际操作时需要将集群realms或者domain_realm中实际的KDC域信息进行合并。
示例:[realms] CLUSTER.A.COM = { admin_server = ClusterA_SERVER_IP:PORT kdc = ClusterA_KDC_IP:PORT kdc = ClusterA_KDC_IP:PORT } CLUSTER.B.COM = { admin_server = ClusterB_SERVER_IP:PORT kdc = ClusterB_KDC_IP:PORT kdc = ClusterB_KDC_IP:PORT } - 将集群B的域信息添加到集群A配置文件domain_realm中。 示例:
[domain_realm] .cluster.a.com = CLUSTER.A.COM .cluster.b.com = CLUSTER.B.COM
- 将合并后的krb5.conf配置文件更新到各集群各个节点原路径下替换原krb5.conf文件。