更新时间:2026-08-31 GMT+08:00

步骤2:数据开发处理

当需要快速掌握用户偏好与痛点时,面对海量的BI报表原始数据,人工难以实时提炼出关键洞察,导致决策滞后。本步骤通过作业定期调度,分析并导出10大用户关注最多的产品和10大用户评价最差的商品至数据表,以支撑高效的信息分析。

脚本开发

分析10大用户关注最多的产品和分析10大用户评价最差的商品两种场景的脚本开发操作步骤介绍。

  1. 登录DataArts Studio管理控制台

    详情请参考访问DataArts Studio实例控制台

  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 参见图1,新建DLI SQL脚本,通过DLI SQL语句来创建数据表。

    图1 新建脚本

  4. 在新建脚本弹出的SQL编辑器中,填写关键参数。

    表1 关键参数

    参数

    说明

    数据连接

    步骤5中创建的DLI数据连接。

    数据库

    步骤7中创建的数据库。

    资源队列

    可使用提供的默认资源队列“default”

    图2 关键参数

    输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。
    INSERT
      OVERWRITE table top_like_product
    SELECT
      product.brand as brand,
      COUNT(product.brand) as like_count
    FROM
      action
      JOIN product ON (action.product_id = product.product_id)
    WHERE
      action.type = 'like'
    group by
      brand
    ORDER BY
      like_count desc
    LIMIT
      10
    图3 脚本(分析10大用户关注最多的产品)
    • 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。
    • DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。

  5. 脚本调试无误后,单击“保存”保存该脚本,脚本名称为“top_like_product”。单击“提交”,提交脚本版本。在后续开发并调度作业会引用该脚本。
  6. 脚本保存完成且运行成功后,可以参考步骤3新建DLI SQL脚本,执行如下SQL语句查看top_like_product表数据。您还可以参考图4,下载或转储表数据。

    SELECT * FROM top_like_product
    图4 查看top_like_product表数据

  1. 登录DataArts Studio管理控制台

    详情请参考访问DataArts Studio实例控制台

  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 参见图5,新建DLI SQL脚本,通过DLI SQL语句来创建数据表。

    图5 新建脚本

  4. 在新建脚本弹出的SQL编辑器中,填写关键参数。

    表2 关键参数

    参数

    说明

    数据连接

    步骤5中创建的DLI数据连接。

    数据库

    步骤7中创建的数据库。

    资源队列

    可使用提供的默认资源队列“default”

    图6 关键参数

    输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户评价最差的产品,将结果存放到top_bad_comment_product表。
    INSERT
      OVERWRITE table top_bad_comment_product
    SELECT
      DISTINCT product_id,
      comment_num,
      bad_comment_rate 
    FROM 
      comment 
    WHERE 
      comment_num > 3 
    ORDER BY
      bad_comment_rate desc 
    LIMIT
      10
    图7 脚本(分析10大用户评价最差的产品)
    • 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。
    • DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。

  5. 脚本调试无误后,单击“保存”保存该脚本,脚本名称为“top_bad_comment_product”。单击“提交”,提交脚本版本。在后续开发并调度作业会引用该脚本。
  6. 脚本保存完成且运行成功后,可以参考步骤3新建DLI SQL脚本,执行如下SQL语句查看top_bad_comment_product表数据。您还可以参考图8,下载或转储表数据。

    SELECT * FROM top_bad_comment_product
    图8 查看top_bad_comment_product表数据

开发并调度作业

在OBS中存储的原始BI报表通常每日更新,业务人员希望同步获取最新的分析结果以支持决策。然而,手动处理每日更新的数据不仅效率低下,还容易因人为操作导致数据不同步或遗漏。您可以使用数据开发的作业编排和作业调度功能,实现结果的每日自动更新。

  1. 登录DataArts Studio管理控制台

    详情请参考访问DataArts Studio实例控制台

  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 创建一个数据开发批处理作业,作业名称为“BI_analysis”

    图9 新建作业
    图10 配置作业

  4. 进入到作业开发页面,拖动两个Dummy节点和两个DLI SQL节点到画布中,选中连线图标并拖动,编排图11所示的作业。

    图11 连接和配置节点属性
    表3 关键节点说明

    关键节点

    说明

    Begin(Dummy节点)

    不执行任何操作,只作为起始点的标识。

    top_like_product(DLI SQL节点)

    在节点属性中,关联分析10大用户关注最多的产品中开发完成的DLI SQL脚本“top_like_product”

    top_bad_comment_product(DLI SQL节点)

    在节点属性中,关联分析10大用户评价最差的商品中开发完成的DLI SQL脚本“top_bad_comment_product”

    Finish(Dummy节点)

    不执行任何操作,只作为结束点的标识。

  5. 作业编排完成后,单击“测试运行”,测试运行作业。

    图12 测试运行

  6. 作业测试运行正常后,单击右侧的“调度配置”,配置作业的调度策略。

    图13 调度配置

    表4 调度配置参数

    参数

    说明

    调度方式

    本示例中选择“周期调度”

    调度属性

    请根据业务需要配置作业的生效时间范围(如2022/02/09至2022/02/28),每天1点00分执行一次作业。

    依赖属性

    可以配置为依赖其他作业运行,本例不涉及,无需配置。

    跨周期依赖

    可以选择配置为自依赖或者不依赖上一周期,此处配置为不依赖上一周期即可。

  7. 依次单击“保存”“提交”“执行调度”。实现作业每天自动运行,BI报表分析结果自动保存到“top_like_product”“top_bad_comment_product”表。

    图14 执行调度

  8. 最后保存并提交版本(单击),执行调度作业(单击)。实现作业每天自动运行,BI报表分析结果自动保存到“top_like_product”“top_bad_comment_product”表。
  9. 在数据开发主界面的左侧导航栏,选择“运维调度 > 实例监控”,查看作业的执行结果,如图15所示。

    图15 查看作业执行情况

数据开发还支持配置通知管理,可以选择配置当作业运行异常/失败后,进行短信、邮件等多种方式提醒,此处不再展开描述。

至此,基于电商BI报表的数据开发流程示例完成。此外,您还可以根据原始BI报表数据,分析用户的年龄分布、性别比例、商品评价情况、购买情况、浏览情况等,为营销决策、广告推荐、信用评级、品牌监控、用户行为预测等提供高质量的信息。