Doris多源数据能力概述
多源数据目录旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。
多源数据目录功能在原有的元数据层级上,新增一层Catalog,构成Catalog -> Database -> Table的三层元数据层级。其中,Catalog可以直接对应到外部数据目录。
基础概念
- Internal Catalog
Doris原有的Database和Table都将归属于Internal Catalog。Internal Catalog是内置的默认Catalog,用户不可修改或删除。
- External Catalog
可以通过CREATE CATALOG命令创建一个External Catalog,创建后,可以通过SHOW CATALOGS命令查看已创建的Catalog。
- 切换Catalog
用户登录Doris后,默认进入Internal Catalog,因此默认的数据库使用和之前版本并无差别,可以直接使用SHOW DATABASES,USE DB等命令查看和切换数据库。
用户可以通过SWITCH命令切换Catalog,例如:
SWITCH internal; SWITCH hive_catalog;
切换后,可以直接通过SHOW DATABASES,USE DB等命令查看和切换对应Catalog中的Database。Doris会自动同步Catalog中的Database和Table。用户可以像使用Internal Catalog一样,对External Catalog中的数据进行查看和访问。
当前,Doris只支持对External Catalog中的数据进行只读访问。
- 删除Catalog
External Catalog中的Database和Table都是只读的,但是可以删除Catalog(Internal Catalog无法删除)。可以通过DROP CATALOG命令删除一个External Catalog。
该操作仅会删除Doris中该Catalog的映射信息,并不会修改或变更任何外部数据目录的内容。
- Resource
Resource是一组配置的集合。用户可以通过CREATE RESOURCE命令创建一个Resource,之后可以在创建Catalog时使用这个Resource。
一个Resource可以被多个Catalog使用,以复用其中的配置。