配置LakeFormation对接DLI集群

操作场景

LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力，支持无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。

在DLI的Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理，本节操作介绍配置DLI与LakeFormation的数据连接的操作步骤。

LakeFormation Spark语法请参考Spark语法参考。

LakeFormation Flink语法请参考Flink语法参考。

使用须知

DLI对接LakeFormation功能的使用依赖于“湖仓构建”服务的上线状态，如需了解“湖仓构建”服务的上线范围请参考全球产品和服务。

操作流程

图1 操作流程

约束限制

在表1中提供了支持对接LakeFormation获取元数据的队列和引擎类型。

• DLI仅支持对接LakeFormation默认实例，请在LakeFormation设置实例为默认实例。
• DLI支持读取LakeFormation的中Avro、Json、Parquet、Csv、Orc、Text、Hudi格式的数据。
• LakeFormation数据目录中的库、表权限统一由LakeFormation管理。
• DLI支持对接LakeFormation后，DLI原始库表下移至dli的数据目录下。

操作步骤

详细操作请参考DLI对接LakeFormation。