DLI数据源
数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、ECS自建数据库以及线下数据库的异构数据进行探索。
新建DLI数据源
- 参考登录华为云Astro大屏应用界面中操作,登录华为云Astro大屏应用界面。
- 在主菜单中,选择“数据中心”。
- 在左侧导航栏中,选择“数据源”。
- 在数据源管理页面,单击“新建数据源”。
- 选择“DLI”,配置数据源参数。
图1 DLI数据源
- 数据源名称:数据源的名称,用于标识该数据源。长度为1~32个字符,可包括中文、字母、数字及下划线,且不能以下划线开头或结尾。
- 项目名称:DLI服务所在区域的项目名称,获取方法如下。
- 登录华为云管理控制台。
- 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。
- 在“我的凭证 > API凭证 > 项目列表”中,获取“项目”的值。
- 项目ID:DLI服务所在的区域的项目ID,获取方法如下。
- 登录华为云管理控制台。
- 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。
- 在“我的凭证 > API凭证 > 项目列表”中,获取“项目ID”的值。
- AK(Access Key ID):配置为访问密钥对中“Access Key ID”对应的值,请参考获取AK/SK中操作,获取AK(Access Key ID)、SK(Secret Access Key),即访问密钥对。
- SK(Secret Access Key):配置为访问密钥对中“Secret Access Key”对应的值,请参考获取AK/SK中操作,获取AK(Access Key ID)、SK(Secret Access Key),即访问密钥对。
- 队列名称:DLI服务中的队列名称。队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。
- 登录DLI管理控制台。
- 在左侧导航栏中,选择“资源管理 > 队列管理”。
- 查看队列名称,如果没有队列,请创建新的队列。
- 描述:新建数据源的描述信息。
- 单击“连接测试”,显示“连接成功”,表示DLI数据源可以调通。
- 单击“保存”,完成数据源的创建。