FineBI工具对接DLI Trino
FineBI是帆软公司推出的一款大数据分析BI工具,为业务人员和数据分析师提供了数据管理、数据编辑、数据可视化等数据探索能力。华为云DLI服务通过对数据的融合分析处理,使用Trino交互式引擎的SQL作业更加适用于交互式分析查询,为FineBi提供高效的引擎计算能力、有效的高质量数据,供给后续的数据统计分析使用,帮助企业进行数据决策。
本节操作介绍的FineBI与DLI对接的操作步骤。
方案架构
DLI对接FineBI的方案架构是通过VPCEP实现DLI与FineBI之间的网络连通。
约束限制
流程指导
FineBI与华为云DLI服务对接主要分为以下步骤:
方案优势
- 大数据分析BI工具提供数据探索能力:FineBI 作为新一代自助大数据分析的 BI 工具,为企业提供多源数据采集,自助探索式分析,多屏解决方案以及企业级管控等一站式企业商业智能解决方案。
- 华为云DLI提供数据的融合分析处理能力:DLI支持与多种数据源的对接,通过SQL建表就可以完成数据源的映射。直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。
- 通过FineBI与华为云DLI对接实现数据实时接入、数据处理效率高、数据可视化效果好。DLI支持多种数据源对接FineBI,Fine BI可以将DLI数据以图表、报表等形式进行可视化展示,使数据更加更加直观,益于理解和分析提高了决策的准确性和效率。
资源和成本规划
资源 |
资源说明 |
成本说明 |
---|---|---|
OBS |
DLI需要绑定OBS作为日志桶。 |
OBS的使用涉及以下几项费用: 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。 |
DLI |
本例使用弹性资源池创建SQL作业。 |
使用DLI的弹性资源池资源时,按照弹性资源池CU时进行计费。 |
VPCEP |
用来打通FineBI与DLI的网络连接。 |
参考VPCEP的计费说明。 |
ELB |
ELB是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。 |
参考ELB的计费说明。 |
EIP |
提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务 |
参考EIP的计费说明。 |
步骤1:创建弹性资源池和队列
- 登录华为云数据湖探索管理控制台。
- 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
- 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。
- 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。
表2 参数说明 参数名称
描述
计费模式
按需计费/包年包月。
区域
选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
项目
每个区域默认对应一个项目,这个项目由系统预置。
名称
弹性资源池的具体名称。
CU范围
弹性资源池最大最小CU范围。
描述
创建的弹性资源池的描述信息。
网段
规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合,弹性资源池设置后不支持更改。
建议使用网段:
10.0.0.0~10.255.0.0/16~19
172.16.0.0~172.31.0.0/16~19
192.168.0.0~192.168.0.0/16~19
企业项目
如果所建弹性资源池属于企业项目,可选择对应的企业项目。
购买时长
选择“包年/包月”计费模式时,需要选择“购买时长”。购买时长越长,优惠越多。可勾选“自动续费”,按月购买,自动续费周期为1个月。按年购买,自动续费周期为1年。
标签
使用标签标识云资源。
- 参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。
- 等待弹性资源池状态变成“可使用”表示当前弹性资源池创建成功。
- 弹性资源池创建完成后,在弹性资源池下添加相应的SQL队列,所选引擎为Trino。
如需购买SQL队列选择执行引擎时,请选择Trino。
步骤2:配置DLI集群的网络连通
- 在所创建的DLI队列管理里查看队列的终端节点服务信息。
- 创建VPC终端节点。
- 登录VPC终端节点管理控制台。
- 单击“购买终端节点”。进入“购买终端节点”页面。
- 服务类型选择“按名称查找服务”。
- 在“服务名称栏”输入获取的终端节点服务信息,需去除端口号。
示例:
队列的终端节点服务信息为:xxx.3a715f69-b1b0-45d0-bc4a-d917137bcd08:18090
服务名称栏输入:xxx.3a715f69-b1b0-45d0-bc4a-d917137bcd08图4 VPCEP页面
- 获取VPC终端节点的IP
- 在VPCEP的控制台的左侧单击“ VPC终端节点 > 终端节点”。
- 单击VPCEP节点的ID,在基本信息页面查看节点IP。
图5 VPCEP节点IP
- 创建ELB
- 登录ELB的控制台。
- 在负载均衡器界面单击“购买弹性负载均衡”,根据界面提示配置参数。
图6 弹性负载均衡器ELB
- 获取ELB的服务地址
- 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。
图7 负载均衡器
- 单击进入所创建的负载均衡器的ID,单击“基本信息”查看ELB的信息,记录“IPv4私网IP”的信息。
图8 独享型ELB
- 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。
- 创建跨源
- 登录DLI的管理控制台。
- 在DLI管理控制台左侧导航栏中,选择“跨源管理 > 增强型跨源连接”。
输入连接名称,选择步骤1所创建含有Trino引擎队列的弹性资源池,虚拟私有云,子网,详细参数介绍请参见表3。图9 创建跨源连接
表3 参数说明 参数
参数说明
连接名称
所创建的跨源连接名称。
- 名称只能包含数字、英文字母、下划线。不能为空。
- 输入长度不能超过64个字符。
弹性资源池
可选参数,用于绑定使用跨源连接的弹性资源池或队列。
仅包周期和按需计费模式的专属队列支持绑定弹性资源池。
已上线弹性资源池的region,在队列管理中创建的包年包月或按需专属队列会默认创建同名的资源池。
说明:使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。
虚拟私有云
目的数据源所使用的虚拟私有云。
子网
目的数据源所使用的子网。
路由表
显示子网实际绑定的路由表。
说明:- 此处的路由表为目的数据源子网关联的路由表,不同于“路由信息”中的路由。“路由信息”中的路由为所绑定的队列下子网关联的路由表中的路由。
- 目的数据源子网与队列所在子网为不同的子网,否则会造成网段冲突。
标签
使用标签标识云资源。
- 单击“确定”,完成连接创建。
- 验证跨源连接创建是否成功。
- 添加后端服务器组为VPC后端,跨VPC后端IP为所购买VPCEP的节点IP。
- 单击ELB控制台下的后端服务器组,单击创建后端服务器组。
- 选择之前所创建的负载均衡器,单击“下一步”进入添加后端服务器页面,再单击“下一步”进入确认配置页面,单击“立即创建”完成创建。
图10 创建后端服务器组
- 在后端服务器组页面,单击创建好的后端服务器组操作列下的“添加后端服务器”添加后端服务器。
图11 跨VPC后端IP和业务端口
- 验证VPCEP与DLI的网络打通
在后端服务组跨VPC后端页面下查看健康检查结果栏显示为正常则网络打通。图12 网络打通成功
步骤3:FineBI安装Trino驱动
- 安装FineBI。
- FineBI安装Trino驱动
驱动下载:单击下载获取jar包。
驱动上传:在Fine BI控制台单击“管理系统 > 数据连接管理 > 驱动管理 > 新建驱动”, 上传对应的驱动包。图13 设置presto driver
步骤4:配置FineBI对接DLI Trino
- 在FineBI的的管理页面单击“数据连接管理 > 新建数据连接 > 其他 > 其他JDBC”。
- 填写数据连接的相关信息。
相关操作
- Trino支持SQL语法,Trino SQL语法请参考Trino SQL语法,DLI trino引擎暂只支持SELECT查询操作。