更新时间:2025-10-23 GMT+08:00
CDM如何对接Lake Formation?
当前只支持MRS Hive对接Lake Formation的场景。
- 数据集成(CDM作业)配置方法:
- 创建Hive数据连接时:Hive对接Lake Formation场景,“OBS支持”参数配置为“是”且需要配置obs aksk,其他配置与Hive不对接Lake Formation保持一致。
图1 配置OBS参数
- 在属性配置中,新增lakeformation.authentication.iam.apig.proxy.endpoint 配置项,配置项值通过访问MRS获取。
- 在MRS 集群上寻找Guardian组件tokenserver所在节点,并登录后台。
图2 寻找Guardian组件tokenserver所在节点
- 后台查找token-server.xml文件(find / -name token-server.xml),并grep proxy token-server.xml 查询endpoint值,该值即为lakeformation.authentication.iam.apig.proxy.endpoint对应value。
图3 查找token-server.xml文件
图4 查询endpoint值
- 在属性配置中,新增lakeformation.authentication.iam.apig.proxy.endpoint 的配置项,配置endpoint value值。
图5 配置endpoint值
- 在MRS 集群上寻找Guardian组件tokenserver所在节点,并登录后台。
- 创建Hive数据连接时:Hive对接Lake Formation场景,“OBS支持”参数配置为“是”且需要配置obs aksk,其他配置与Hive不对接Lake Formation保持一致。
- 数据集成(离线作业)配置方法:
- 创建Hive数据连接时:Hive对接Lake Formation场景,“OBS支持”参数配置为“是”且需要配置obs aksk,其他配置与Hive不对接Lake Formation保持一致。
图6 配置OBS参数
- 在属性配置中,新增lakeformation.authentication.iam.apig.proxy.endpoint和 lakeformation.authentication.project.id配置项,lakeformation.authentication.iam.apig.proxy.endpoint配置项值获取方法参考步骤2配置, lakeformation.authentication.project.id参考下图在个人中心获取。
图7 获取project.id
- 创建Hive数据连接时:Hive对接Lake Formation场景,“OBS支持”参数配置为“是”且需要配置obs aksk,其他配置与Hive不对接Lake Formation保持一致。
父主题: 数据集成(CDM作业)