更新时间:2025-10-23 GMT+08:00
分享

CDM如何对接Lake Formation?

当前只支持MRS Hive对接Lake Formation的场景。

  • 数据集成(CDM作业)配置方法:
    1. 创建Hive数据连接时:Hive对接Lake Formation场景,“OBS支持”参数配置为“是”且需要配置obs aksk,其他配置与Hive不对接Lake Formation保持一致。
      图1 配置OBS参数
    2. 在属性配置中,新增lakeformation.authentication.iam.apig.proxy.endpoint 配置项,配置项值通过访问MRS获取。
      1. 在MRS 集群上寻找Guardian组件tokenserver所在节点,并登录后台。
        图2 寻找Guardian组件tokenserver所在节点
      2. 后台查找token-server.xml文件(find / -name token-server.xml),并grep proxy token-server.xml 查询endpoint值,该值即为lakeformation.authentication.iam.apig.proxy.endpoint对应value。
        图3 查找token-server.xml文件
        图4 查询endpoint值
      3. 在属性配置中,新增lakeformation.authentication.iam.apig.proxy.endpoint 的配置项,配置endpoint value值。
        图5 配置endpoint值
  • 数据集成(离线作业)配置方法:
    1. 创建Hive数据连接时:Hive对接Lake Formation场景,“OBS支持”参数配置为“是”且需要配置obs aksk,其他配置与Hive不对接Lake Formation保持一致。
      图6 配置OBS参数
    2. 在属性配置中,新增lakeformation.authentication.iam.apig.proxy.endpoint和 lakeformation.authentication.project.id配置项,lakeformation.authentication.iam.apig.proxy.endpoint配置项值获取方法参考步骤2配置, lakeformation.authentication.project.id参考下图在个人中心获取。
      图7 获取project.id

相关文档