方案概述
应用场景
当前线上购物无疑是最火热的购物方式,而电商平台则又可以以多种方式接入,例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。该解决方案可以帮助而电商平台统计各平台的实时访问数据量、订单数、访问人数等等指标,从而能在显示大屏上实时展示相关数据。电商平台可以通过将每个商品的订单信息实时写入Kafka中或将业务数据表上传至对象存储 OBS桶中从而触发函数工作流自动将数据写入Kafka中,DLI根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中。方便电商平台及时了解数据变化,有针对性地调整营销策略。适用于通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等电商线上购物。
方案架构
该解决方案会部署如下资源:
- 创建一台云数据库RDS for MySQL实例,用于存储统计的订单指标数据,从而展示在数据可视化DLV大屏。
- 创建分布式消息服务 kafka专享版实例,并创建 Topic,用于电商平台写入业务数据,为用户提供便捷高效的消息队列。
- 创建数据湖探索DLI增强型跨源队列,通过创建Flink作业,用于分析和处理电商平台的业务数据。
- 创建一个对象存储服务OBS桶,用于用户上传业务数据表csv文件。
- 使用函数工作流 FunctionGraph创建一个函数,通过OBS触发器,实现将用户上传至OBS桶中的业务数据写入Kafka,同时在RDS创建数据结果表模板。
方案优势
约束与限制
- 部署该解决方案之前,您需注册华为账号并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态。
- 第一次使用数据湖数据湖 DLI时需要登录DLI控制台,如果使用IAM子账户部署该解决方案,请参考部署指南确保该账号已经有DLI的相关授权,第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。