文档首页> 数据湖探索 DLI> 最佳实践> 数据分析> FineBI工具对接DLI Trino
更新时间:2024-04-29 GMT+08:00

FineBI工具对接DLI Trino

FineBI是帆软公司推出的一款大数据分析BI工具,为业务人员和数据分析师提供了数据管理、数据编辑、数据可视化等数据探索能力。华为云DLI服务通过对数据的融合分析处理,使用Trino交互式引擎的SQL作业更加适用于交互式分析查询,为FineBi提供高效的引擎计算能力、有效的高质量数据,供给后续的数据统计分析使用,帮助企业进行数据决策。

本节操作介绍的FineBI与DLI对接的操作步骤。

方案架构

DLI对接FineBI的方案架构是通过VPCEP实现DLI与FineBI之间的网络连通。

图1 架构图

约束限制

  • Trino引擎队列仅支持HTTPS协议的连接方式。
  • 使用Trino引擎时,所创建的SQL队列不支持扩缩容。

    如果需要调整队列CU的大小,需要先在弹性资源池下先删除队列后在弹性资源池下创建CU大小合适的Trino引擎的队列。

  • DLI Trino引擎处于公测阶段,如果有需要请联系客服申请开通。

    支持DLI Trino引擎的区域:华北-北京四、华东-上海一、中国-香港、亚太-曼谷、亚太-新加坡、非洲-约翰内斯堡

  • BI对接暂只支持使用Hive语法创建的外表。

流程指导

图2 DLI对接FIineBI的流程图

FineBI与华为云DLI服务对接主要分为以下步骤:

  1. 创建弹性资源池和队列
  2. 配置DLI集群的网络连通
  3. FineBI安装Trino驱动
  4. 配置FineBI对接DLI Trino
  5. 测试连接

方案优势

  • 大数据分析BI工具提供数据探索能力:FineBI 作为新一代自助大数据分析的 BI 工具,为企业提供多源数据采集,自助探索式分析,多屏解决方案以及企业级管控等一站式企业商业智能解决方案。
  • 华为云DLI提供数据的融合分析处理能力:DLI支持与多种数据源的对接,通过SQL建表就可以完成数据源的映射。直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。
  • 通过FineBI与华为云DLI对接实现数据实时接入、数据处理效率高、数据可视化效果好。DLI支持多种数据源对接FineBI,Fine BI可以将DLI数据以图表、报表等形式进行可视化展示,使数据更加更加直观,益于理解和分析提高了决策的准确性和效率。

资源和成本规划

表1 资源和成本规划

资源

资源说明

成本说明

OBS

DLI需要绑定OBS作为日志桶。

OBS的使用涉及以下几项费用:

  • 存储费用:静态网站文件存储在OBS中产生的存储费用
  • 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用
  • 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用

实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。

DLI

本例使用弹性资源池创建SQL作业。

使用DLI的弹性资源池资源时,按照弹性资源池CU时进行计费。

VPCEP

用来打通FineBI与DLI的网络连接。

参考VPCEP的计费说明

ELB

ELB是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。

参考ELB的计费说明

EIP

提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务

参考EIP的计费说明

步骤1:创建弹性资源池和队列

  1. 登录华为云数据湖探索管理控制台。
  2. 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
  3. 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。
  4. 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。

    表2 参数说明

    参数名称

    描述

    计费模式

    按需计费/包年包月。

    区域

    选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。

    项目

    每个区域默认对应一个项目,这个项目由系统预置。

    名称

    弹性资源池的具体名称。

    CU范围

    弹性资源池最大最小CU范围。

    描述

    创建的弹性资源池的描述信息。

    网段

    规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合,弹性资源池设置后不支持更改。

    建议使用网段:

    10.0.0.0~10.255.0.0/16~19

    172.16.0.0~172.31.0.0/16~19

    192.168.0.0~192.168.0.0/16~19

    企业项目

    如果所建弹性资源池属于企业项目,可选择对应的企业项目。

    购买时长

    选择“包年/包月”计费模式时,需要选择“购买时长”。购买时长越长,优惠越多。可勾选“自动续费”,按月购买,自动续费周期为1个月。按年购买,自动续费周期为1年。

    标签

    使用标签标识云资源。

  5. 参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。
  6. 等待弹性资源池状态变成“可使用”表示当前弹性资源池创建成功。
  7. 弹性资源池创建完成后,在弹性资源池下添加相应的SQL队列,所选引擎为Trino。

    如需购买SQL队列选择执行引擎时,请选择Trino。

步骤2:配置DLI集群的网络连通

  1. 在所创建的DLI队列管理里查看队列的终端节点服务信息。

    1. 在DLI的控制台单击“资源管理 > 队列管理”,查看终端节点服务信息需要在队列创建完成后1分钟左右查看。
    2. 找到对应的队列后,单击队列名称前,获取队列的终端节点服务信息。
      图3 终端节点服务信息

  2. 创建VPC终端节点。

    1. 登录VPC终端节点管理控制台。
    2. 单击“购买终端节点”。进入“购买终端节点”页面。
    3. 服务类型选择“按名称查找服务”。
    4. 在“服务名称栏”输入获取的终端节点服务信息,需去除端口号。

      示例:

      队列的终端节点服务信息为:xxx.3a715f69-b1b0-45d0-bc4a-d917137bcd08:18090

      服务名称栏输入:xxx.3a715f69-b1b0-45d0-bc4a-d917137bcd08
      图4 VPCEP页面

  3. 获取VPC终端节点的IP

    1. 在VPCEP的控制台的左侧单击“ VPC终端节点 > 终端节点”。
    2. 单击VPCEP节点的ID,在基本信息页面查看节点IP。
      图5 VPCEP节点IP

  4. 创建ELB

    1. 登录ELB的控制台。
    2. 在负载均衡器界面单击“购买弹性负载均衡”,根据界面提示配置参数。
      图6 弹性负载均衡器ELB

  5. 获取ELB的服务地址

    1. 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。
      图7 负载均衡器
    2. 单击进入所创建的负载均衡器的ID,单击“基本信息”查看ELB的信息,记录“IPv4私网IP”的信息。
      图8 独享型ELB

  6. 创建跨源

    1. 登录DLI的管理控制台。
    2. 在DLI管理控制台左侧导航栏中,选择“跨源管理 > 增强型跨源连接”。
      输入连接名称,选择步骤1所创建含有Trino引擎队列的弹性资源池,虚拟私有云,子网,详细参数介绍请参见表3
      图9 创建跨源连接
      表3 参数说明

      参数

      参数说明

      连接名称

      所创建的跨源连接名称。

      • 名称只能包含数字、英文字母、下划线。不能为空。
      • 输入长度不能超过64个字符。

      弹性资源池

      可选参数,用于绑定使用跨源连接的弹性资源池或队列。

      仅包周期和按需计费模式的专属队列支持绑定弹性资源池。

      已上线弹性资源池的region,在队列管理中创建的包年包月或按需专属队列会默认创建同名的资源池。

      说明:

      使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。

      虚拟私有云

      目的数据源所使用的虚拟私有云。

      子网

      目的数据源所使用的子网。

      路由表

      显示子网实际绑定的路由表。

      说明:
      • 此处的路由表为目的数据源子网关联的路由表,不同于“路由信息”中的路由。“路由信息”中的路由为所绑定的队列下子网关联的路由表中的路由。
      • 目的数据源子网与队列所在子网为不同的子网,否则会造成网段冲突。

      标签

      使用标签标识云资源。

    3. 单击“确定”,完成连接创建。
    4. 验证跨源连接创建是否成功。

      单击已创建的跨源连接名称,查看连接状态,状态显示为已激活则证明跨源连接完成。

  7. 添加后端服务器组为VPC后端,跨VPC后端IP为所购买VPCEP的节点IP。

    1. 单击ELB控制台下的后端服务器组,单击创建后端服务器组。
    2. 选择之前所创建的负载均衡器,单击“下一步”进入添加后端服务器页面,再单击“下一步”进入确认配置页面,单击“立即创建”完成创建。
      图10 创建后端服务器组
    3. 在后端服务器组页面,单击创建好的后端服务器组操作列下的“添加后端服务器”添加后端服务器。
      图11 跨VPC后端IP和业务端口

  8. 验证VPCEP与DLI的网络打通

    在后端服务组跨VPC后端页面下查看健康检查结果栏显示为正常则网络打通。
    图12 网络打通成功

步骤3:FineBI安装Trino驱动

  1. 安装FineBI。
  2. FineBI安装Trino驱动

    驱动下载:单击下载获取jar包。

    驱动上传:在Fine BI控制台单击“管理系统 > 数据连接管理 > 驱动管理 > 新建驱动”, 上传对应的驱动包。
    图13 设置presto driver

步骤4:配置FineBI对接DLI Trino

配置FineBI与DLI的对接。
  1. 在FineBI的的管理页面单击“数据连接管理 > 新建数据连接 > 其他 > 其他JDBC”。
  2. 填写数据连接的相关信息。
    1. 填写数据连接名称。
    2. 驱动选择 自定义, 驱动名选择自建的驱动 io.prestosql.jdbc.PrestoDriver。
    3. 主机填写跨后端IP,端口为业务端口,具体参考详细说明的内容。
    4. 填写用户名和密码,用户名格式为 '账号名/用户名/项目ID ',如何获项目ID,请参考获取项目ID。三者用“/”拼接,如果使用主账号连接,则前两者都为账号名。
    5. 数据连接URL填写示例:jdbc:presto://{ip}/dli/default?SSL=true。

      数据连接的URL中ssl=true表示后端请求使用HTTPS方式,当前Trino引擎队列仅支持HTTPS协议方式。

      图14 配置信息

步骤5:测试连接

单击FineBI数据连接管理页面右上角“测试连接”,连接成功即可。您现在就可以使用此连接查询DLI表,进行BI报表分析。
图15 测试连接

相关操作

  • Trino支持SQL语法,Trino SQL语法请参考Trino SQL语法,DLI trino引擎暂只支持SELECT查询操作。