配置Grafana连接DLI进行数据查询和分析
Grafana是一个开源的数据可视化,使用Grafana的丰富图表类型对DLI中存储的数据进行统一的展示和分析。本节操作介绍Grafana连接DLI的操作步骤。
操作前准备
- 环境要求:
确保您的系统环境满足以下要求。
- 工具包
- DLI的Grafana驱动:dli-grafana
- Grafana安装包:
访问Grafana官网下载页面:Download Grafana。
选择适合您操作系统的Grafana版本,建议选择版本高于11.0.0的版本。
下载并解压Grafana安装包,根据官方文档指导完成安装。
- 连接信息:
类别
说明
获取方式
DLI AKSK
AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。
DLI Endpoint地址
地区与终端节点,即云服务在不同Region有不同的访问域名。
DLI所在的项目ID
项目编号,用于资源隔离。
DLI区域信息
DLI所属区域信息
步骤1:在Grafana中安装dli-grafana驱动
- 从DLI控制台获取dli-grafana插件。
- 将下载并解压的dli-grafana插件放置到Grafana安装目录下的data/plugins/dli-datasource 文件夹中。
- 在Grafana安装目录下的data/defaults.ini 文件中,设置以下参数以允许加载未签名的驱动。
allow_loading_unsigned_plugins = dli-datasource
- 重启Grafana服务加载dli-grafana驱动。
步骤2:访问Grafana
步骤3:配置Grafana连接DLI
- 在Grafana的侧边菜单中,单击“Data Sources”。
- 单击“Add data source”按钮,选择“dli-datasource”作为数据源类型。
参考图1配置Grafana连接DLI:
表1 Grafana连接DLI参数说明 参数
是否必选
说明
配置样例
Region
是
DLI的区域名称和服务名称。
ap-southeast-2
Project Id
是
DLI资源所在的项目ID。
0b33ea2a7e0010802fe4c009bb05076d
Catalog Name
是
数据目录名称。默认使用dli数据目录。
如果使用Lakeformation元数据,填写具体的数据目录名称。
dli
Database Name
是
提交作业使用的DLI的数据库名称。
tpch
Queue Name
是
DLI服务的队列名称。
dli_test
Engine Type
是
选择DLI队列类型,可以是spark或trino。
spark
AK和SK
是
AK/SK认证密钥。
-
- 完成配置后,单击“Save & Test”按钮以验证连接是否成功。
步骤4:创建Dashboard并提交SQL查询
- 在Grafana主界面,单击“+ New”创建一个新的Dashboard。
- 添加一个新的Panel,选择适合您数据的图表类型。
- 在Panel的设置中,选择刚才配置的dli-datasource作为数据源。
- 输入您的SQL查询语句,预览查询结果,调整图表设置以满足您的需求。
- 保存Panel和Dashboard,就通过这个Dashboard来监控和分析DLI中的数据。
图2 在Dashboard中提交SQL查询