方案概述

应用场景

本方案将 Flink CDC实时集成、StarRocks 实时数仓深度集成，打造一体化实时数仓联合架构，实现各分层间数据实时流转与自动加工，标准化落地实时数仓分层建设规范。方案可支撑实时推荐、实时风控、大屏看板等典型业务场景，全面满足企业低延迟实时分析诉求；同时具备中间层数据可直接查询、各分层模型可复用、架构链路精简易维护等特点。适用于有需要数据实时处理、高并发查询能力的业务场景。

方案架构

通过 Flink 采集各业务数据源并实时写入 StarRocks，构建 SDI 贴源层；依托 StarRocks 物化视图自动感知基表数据变更，经过数据清洗、维度关联加工，生成 DWI 明细宽表层；再基于 DWI 层数据，借助物化视图做聚合汇总计算，构建 DWR 指标聚合层，全程在 StarRocks 内部完成数仓分层建模。

该解决方案将会部署如下资源：

• 创建一个虚拟私有云VPC。

• 创建一台弹性云服务器ECS，用于安装Starrocks客户端。
• 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。
• 创建一个RDS for Mysql数据库作为数据源。
• 创建一个CloudTable Starrocks实例作为数据仓库。
• 创建一个数据湖探索DLI弹性资源池，用于数据实时同步。
• 创建一个对象OBS存储桶，用于存储Flink任务日志。

方案优势

• 一体化架构，链路精简

  采用 Flink CDC+StarRocks 极简组合，剔除冗余中间组件，大幅简化整体架构复杂度。

• 预计算加速，查询倍增

  依托物化视图预计算能力，查询性能直接提升 10-100 倍，海量数据秒级响应。

• 高并发吞吐，性能强劲

  基于 StarRocks MPP 分布式架构，支撑数千 QPS 高并发，物化视图分摊算力负载，系统吞吐能力拉满。

• 实时链路，秒级同步

  Flink CDC 联动物化视图，实现数据秒级至分钟级同步，适配业务实时分析场景。

• 免调度运维，省心省力

  物化视图支持自动刷新，无需额外部署调度系统与运维工具，降低运维成本。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。