更新时间:2024-12-06 GMT+08:00
分享

支持访问MRS上的Hudi表

SQL on Hudi支持对存储在MRS上的hudi表进行访问。该功能仅9.1.0及以上集群版本支持。

前提条件

已完成创建MRS数据源,具体可参见管理MRS数据源

SQL on Hudi支持读取存储在MRS上的hudi表,在使用上仅创建数据源与OBS不同,其他无差异。

对接多套MRS集群规避

由于JDK的限制,同一JVM同时仅能保存一份kerberos配置文件信息,导致一套DWS集群无法同时通过SQL on Hudi并发访问多套MRS集群上的hudi表。通过执行以下操作可以进行规避。

  1. 获取各MRS集群已下载客户端中的krb5.conf文件。
  2. 任取一套MRS集群的krb5.conf文件作为待合并文件,以下简称集群A。
  3. 将集群B的KDC域信息添加到集群A配置文件realms中。

    示例:
    [realms]
    CLUSTER.A.COM = { 
    admin_server =  ClusterA_SERVER_IP:PORT
    kdc = ClusterA_KDC_IP:PORT
    kdc = ClusterA_KDC_IP:PORT
    } 
    CLUSTER.B.COM = {
    admin_server = ClusterB_SERVER_IP:PORT
    kdc = ClusterB_KDC_IP:PORT
    kdc = ClusterB_KDC_IP:PORT
    }

  4. 将集群B的域信息添加到集群A配置文件domain_realm中。

    示例:
    [domain_realm]
    .cluster.a.com = CLUSTER.A.COM
    .cluster.b.com = CLUSTER.B.COM

  5. 将合并后的krb5.conf配置文件更新到各集群各个节点原路径下替换原krb5.conf文件。

以上示例内容仅供参考,实际操作时需要将集群realms或者domain_realm中真实KDC域信息进行合并。

相关文档