文档首页 > > 最佳实践> 使用DLI进行电商BI报表分析

使用DLI进行电商BI报表分析

分享
更新时间: 2020/03/10 GMT+08:00

业务场景介绍

  • 场景描述

    某商城作为中国一家自营式电商,在保持高速发展的同时,沉淀了数亿的忠实用户,积累了海量的真实数据。如何利用BI工具从历史数据中找出商机,是大数据应用在精准营销中的关键问题,也是所有电商平台在做智能化升级时所需要的核心技术。

    本案例以某商城真实的用户、商品、评论数据(脱敏后)为基础,利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。

  • 数据说明

    为保护用户的隐私和数据安全,所有数据均已进行了采样和脱敏。

    • 用户数据
      表1 用户数据

      字段名称

      字段说明

      取值范围

      user_id

      用户ID

      脱敏

      age

      年龄段

      -1表示未知

      **

      性别

      • 0表示男
      • 1表示女
      • 2表示保密

      user_lv_cd

      用户等级

      有顺序的级别枚举,越高级别数字越大

      user_reg_tm

      用户注册日期

      单位:天

    • 商品数据
      表2 商品数据

      字段名称

      字段说明

      取值范围

      sku_id

      商品编号

      脱敏

      a1

      属性1

      枚举,-1表示未知

      a2

      属性2

      枚举,-1表示未知

      a3

      属性3

      枚举,-1表示未知

      cate

      品类ID

      脱敏

      brand

      品牌ID

      脱敏

    • 评价数据
      表3 评价数据

      字段名称

      字段说明

      取值范围

      dt

      截止时间

      单位:天

      sku_id

      商品编号

      脱敏

      comment_num

      累计评论数分段

      • 0表示无评论
      • 1表示有1条评论
      • 2表示有2-10条评论
      • 3表示有11-50条评论
      • 4表示大于50条评论

      has_bad_comment

      是否有差评

      0表示无,1表示有

      bad_comment_rate

      差评率

      差评数占总评论数的比重

    • 行为数据
      表4 行为数据

      字段名称

      字段说明

      取值范围

      user_id

      用户编号

      脱敏

      sku_id

      商品编号

      脱敏

      time

      行为时间

      -

      model_id

      模块编号

      脱敏

      type

      • 浏览(指浏览商品详情页)
      • 加入购物车
      • 购物车删除
      • 下单
      • 关注
      • 点击

      -

      cate

      品类ID

      脱敏

      brand

      品牌ID

      脱敏

操作流程概述

使用DLI进行电商数据分析的操作过程主要包括3个步骤:

步骤1:注册账号。使用DLI对数据进行分析之前,需要注册华为云账号并进行实名认证。

步骤2:上传数据。将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。

步骤3:分析数据。使用DLI对待分析的数据进行查询。

步骤1:注册账号

注册华为云账号并进行实名认证。

注册账号具体步骤可参考账号注册

实名认证具体步骤可参考实名认证

如果您已完成华为云账号注册和实名认证,可跳过该步骤。

步骤2:上传数据

将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。

  1. 下载OBS Browser
    1. 登录华为云官网,在上方菜单栏“产品”中,单击“存储”分类下的“对象存储服务”。
    2. 进入对象存储服务界面后,单击“进入控制台”。
    3. 跳转到OBS服务控制台后,单击下载OBS Browser。
  2. 下载AK/SK
    1. 在Console界面,单击右上角用户名,单击“我的凭证” >“管理访问密钥” >“新增访问密钥”。
    2. 根据提示在弹出页面中填写信息,确认后,自动下载AK/SK文件。
  3. 通过OBS Browser上传数据
    1. 在本地解压OBS Browser,单击obs.exe运行OBS Browser,填入用户名,接入证书(AK),安全证书(SK),单击“确定”。请参见图1
      图1 OBS Browser

      服务器地址:可通过地区和终端节点获取OBS服务的域名,其中,HTTPS协议端口号为“443”,HTTP协议端口号为“80”。

    2. 在当前页面单击“创建桶”,按照要求填写“区域”和“桶名”(例如:区域:southchina,桶名:yonghong),单击桶yonghong后,在页面左上角单击“上传”>“上传文件夹”,选择图2中的文件夹,将其中的数据上传到OBS中。
      图2 上传数据

      数据已上传至OBS,上传数据的步骤可省略。

步骤3:分析数据

  1. 创建数据库、表
    1. 在Console页面上方菜单栏中单击“产品”,单击“EI企业智能”分类中的“数据湖探索”。
    2. 创建demo数据库,在DLI控制台总览页面,选择“SQL作业”,单击“创建作业”,进入SQL作业编辑器。
    3. 在SQL作业编辑器左侧,选择“数据库”,单击创建数据库,请参见图3
      图3 创建数据库

      “default”为内置数据库,不能创建名为“default”的数据库。

    4. 选择demo数据库,在编辑框中输入以下SQL语句:
      create table user(
        user_id int,
        age string,
        sex int,
        rank int,
        register_time string
      ) USING csv OPTIONS (path "s3a://yonghong/data/JData_User")

      上述SQL语句中的文件路径为实际存放数据的OBS路径。

    5. 单击,创建用户信息表user。
    6. 用相同的方法创建商品表,评价表,行为表。
      • 商品表
        create table product(
          product_id int,
          a1 int,
          a2 int,
          a3 int,
          category int,
          brand int
        ) USING csv OPTIONS (path "s3a://yonghong/data/JData_Product")
      • 评价表
        create table comment(
          deadline string,
          product_id int,
          comment_num int,
          has_bad_comment int,
          bad_comment_rate float
        ) USING csv OPTIONS (path "s3a://yonghong/data/JData_Comment")
      • 行为表
        create table  action(
          user_id float,
          product_id int,
          time string,
          model_id string,
          type int,
          category int,
          brand int
        ) USING csv OPTIONS (path "s3a://yonghong/data/JData_Action")
  2. 执行查询
    1. 执行以下SQL语句,分析出10大评级最差的商品。常用查询语句可以设置为模板,下次查询的时候在模板管理页面可以查看,具体操作可参见《数据湖探索用户指南》中的《模板管理》
      SELECT
        DISTINCT product_id,
        comment_num,
        bad_comment_rate 
      from 
        comment 
      where 
        comment_num > 3 
      order by 
        bad_comment_rate desc 
      limit
        10
    2. 单击,运行结果如图4所示:
      图4 查询结果
    3. 单击,对结果进行图形展示:
      图5 结果图形化

    还可以分析用户的年龄分布、性别比例、商品评价情况、购买情况、浏览情况等。详细SQL语句可通过以下链接下载:

    https://bbs.huaweicloud.com/forum/forum.php?mod=attachment&aid=MTQyOTR8NDdkMWE3NzF8MTUzNjcyMjExM3wwfDgzODE%3D

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问