创建LakeFormation数据集
在人工智能数据处理与模型训练场景中,用户通常需要集中管理大量非结构化文件集(如图像、音视频及文本数据)。传统数据治理服务主要面向结构化表数据,缺乏对非表结构资产目录的统一元数据注册、层级化命名空间管理以及细粒度的访问权限控制,导致数据集在跨团队共享与安全管控时面临定位困难与权限分散的挑战。
为有效纳管此类非表结构资产,LakeFormation提供Dataset元数据管理能力。用户可灵活选择MANAGED(系统托管)或EXTERNAL(外部引用)存储类型,实现数据集的统一注册、生命周期管理与安全访问控制。
前提条件
- 已创建LakeFormation实例,且实例处于正常运行状态,详细操作请参考创建LakeFormation实例。
- LakeFormation元数据存储到OBS中,当前用户需具有OBS相关操作权限。
- 已参考创建LakeFormation元数据存储路径提前创建了用于存储Catalog数据的OBS桶。
- 已创建LakeFormation数据库,详细操作请参考创建LakeFormation数据库。
创建数据集
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
- 单击待创建数据集所属Catalog名称,单击待创建数据集所属数据库名称,可以在“数据集”页签查看当前数据库中包含的数据集。
- 在“数据集”页签单击“创建”,配置相关参数。
表1 创建数据集参数 参数
参数说明
数据集名称
填写待创建的数据集名称。
只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。
所属Catalog
待创建数据集所属的Catalog。
所属数据库
待创建数据集所属的数据库。
数据集类型
待创建数据集的类型。
- MANAGED:平台管理型数据集。执行删除操作时,删除元数据,数据移入回收站。
- EXTERNAL:外部型数据集。执行删除操作时,仅删除元数据,不删除数据。
存储位置
数据集所映射的OBS桶的文件目录。
单击“
”,选择数据集存储在OBS桶中的位置,单击“确定”。 - 如果“数据集类型”选择“MANAGED”,则不支持配置该参数,数据集存储路径由系统自动生成,存储路径为“上层数据库存储路径/数据集名”。仅支持存储到OBS中。
- 如果“数据集类型”选择“EXTERNAL”,所选位置只能以“obs://”或“aihub://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/dataset1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
- 该路径必须与所属的Catalog、数据库的存储路径不同。
- 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
文件格式
选择文件格式。可选参数。
- ROW:表格类型数据。
- TEXT:文本类型数据。
- IMAGE:图片类型数据。
- AUDIO:音频类型数据。
- VIDEO:视频类型数据。
内容格式
选择内容格式。仅配置了“文件格式”时需要配置该参数。
不同文件格式支持选择的内容格式如下:
- ROW:支持选择CSV、JSONL、AVRO
- TEXT:纯文本文件
- IMAGE:支持选择JPG、PNG、TIFF
- AUDIO:支持选择WAV、MP3、FLAC
- VIDEO:支持选择MP4、MOV、AVI
描述
所创建数据集的描述信息。
数据集属性
配置数据集属性。
单击“数据集属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。
支持添加多条,并可在“操作”列中进行删除操作。
- 确认参数配置无误后,单击“提交”。创建完成后,即可在数据集页面查看相关信息。
相关文档
- 数据集创建完成后,如果需要对其进行查看、修改、删除等操作,请参考管理LakeFormation数据集。
- 如果需要对元数据进行授权,请参考配置LakeFormation元数据权限。