更新时间:2024-12-24 GMT+08:00
分享

配置Grafana连接DLI进行数据查询和分析

Grafana是一个开源的数据可视化,使用Grafana的丰富图表类型对DLI中存储的数据进行统一的展示和分析。本节操作介绍Grafana连接DLI的操作步骤。

操作前准备

  • 环境要求:

    确保您的系统环境满足以下要求。

    • 操作系统:Windows 或 Linux
    • 已安装Go语言环境。

      Go语言版本:大于1.20,通过执行命令go env来查询当前Go环境的配置信息。

  • 工具包
    • DLI的Grafana驱动:dli-grafana
    • Grafana安装包:

      访问Grafana官网下载页面:Download Grafana

      选择适合您操作系统的Grafana版本,建议选择版本高于11.0.0的版本。

      下载并解压Grafana安装包,根据官方文档指导完成安装。

  • 连接信息:

    类别

    说明

    获取方式

    DLI AKSK

    AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。

    获取AK/SK

    DLI Endpoint地址

    地区与终端节点,即云服务在不同Region有不同的访问域名。

    获取EndPoint

    DLI所在的项目ID

    项目编号,用于资源隔离。

    获取项目ID

    DLI区域信息

    DLI所属区域信息

    地区和终端节点

步骤1:在Grafana中安装dli-grafana驱动

  1. 从DLI控制台获取dli-grafana插件。
  2. 将下载并解压的dli-grafana插件放置到Grafana安装目录下的data/plugins/dli-datasource 文件夹中。
  3. 在Grafana安装目录下的data/defaults.ini 文件中,设置以下参数以允许加载未签名的驱动。
    allow_loading_unsigned_plugins = dli-datasource
  4. 重启Grafana服务加载dli-grafana驱动。

步骤2:访问Grafana

  1. 使用浏览器访问Grafana,默认Grafana的访问端口为3000。
    安装Grafana的主机IP: 端口
    示例: http://127.x.x.x:3000
  2. 使用管理员账号和密码。

    默认管理员账号用户名为admin/admin

步骤3:配置Grafana连接DLI

  1. 在Grafana的侧边菜单中,单击“Data Sources”。
  2. 单击“Add data source”按钮,选择“dli-datasource”作为数据源类型。

    参考图1配置Grafana连接DLI:

    表1 Grafana连接DLI参数说明

    参数

    是否必选

    说明

    配置样例

    Region

    DLI的区域名称和服务名称。

    ap-southeast-2

    Project Id

    DLI资源所在的项目ID。

    获取项目ID

    0b33ea2a7e0010802fe4c009bb05076d

    Catalog Name

    数据目录名称。默认使用dli数据目录。

    如果使用Lakeformation元数据,填写具体的数据目录名称。

    dli

    Database Name

    提交作业使用的DLI的数据库名称。

    tpch

    Queue Name

    DLI服务的队列名称。

    dli_test

    Engine Type

    选择DLI队列类型,可以是spark或trino。

    spark

    AK和SK

    AK/SK认证密钥。

    -

    图1 Grafana配置示例
  3. 完成配置后,单击“Save & Test”按钮以验证连接是否成功。

步骤4:创建Dashboard并提交SQL查询

  1. 在Grafana主界面,单击“+ New”创建一个新的Dashboard。
  2. 添加一个新的Panel,选择适合您数据的图表类型。
  3. 在Panel的设置中,选择刚才配置的dli-datasource作为数据源。
  4. 输入您的SQL查询语句,预览查询结果,调整图表设置以满足您的需求。
  5. 保存Panel和Dashboard,就通过这个Dashboard来监控和分析DLI中的数据。
    图2 在Dashboard中提交SQL查询

相关文档