文档首页 > > 快速入门
快速使用DLF

快速使用DLF

分享
更新时间: 2020/02/14 GMT+08:00
  • 数据湖工厂(Data Lake Factory,简称DLF)提供一站式的大数据协同开发平台。

  • 用户可轻松完成数据建模,数据集成,脚本开发,作业调度,运维监控等多项任务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

  • 本指南通过使用ETL Job节点将存储在OBS桶中的数据转换存储在DLI的city_trip表中,并执行DLI SQL脚本查询city_trip表为例,指导您快速上手DLF。

Step1 准备环境

步骤

① 已开通对象存储服务(OBS),并创建桶,用于存放从citibike下载的数据。
② 已开通数据湖工厂服务。每个用户从提交首个调度作业开始有30天免费期,免费期内每日执行节点次数小于5,000。免费期后如未付费则自动停止所有调度任务。

说明

① 本指南所使用示例数据来自:https://www.citibikenyc.com/system-data。下载完数据后使用OBS Browser+上传到OBS桶中,例如“s3a://dlfexample/JC-201904-citibike-tripdata.csv”。

 

1

创建OBS桶

创建MRS集群

2

创建数据湖工厂

创建CDM集群

单击图片可查看原图

Step2 创建数据连接

步骤

① 登录DLF控制台,选择“数据管理 > 连接管理”。
② 在连接管理页面,单击“新建数据连接”,配置数据连接的参数。
③ 单击“测试”,测试数据连接的连通性。
④ 连通性测试通过后,单击“保存”,新建数据连接。

1

创建数据连接

创建数据连接

2

配置数据连接

配置数据连接

单击图片可查看原图

Step3 创建数据库

步骤

① 在DLF的左侧导航栏,选择“数据开发 > 脚本开发”,进入“脚本开发”页面。
② 单击连接图标,右键单击数据连接名称,选择“新建数据库”,创建一个名为“trip”的数据库。

1

创建数据库

新建数据库

单击图片可查看原图

Step3 开发SQL脚本

步骤

① 在DLF的左侧导航栏,选择“数据开发 > 脚本开发”,进入工作区。
② 选择“新建SQL脚本 > DLI”,进入DLI脚本开发页面。
③ 在脚本开发页面,选择数据连接“dli”、数据库“trip”,资源队列“default”,然后输入SQL语句并运行,创建一个city_trip的表。
④ 脚本调试通过后,单击“保存”,新建脚本“trip_dll”。

1

新建DLI SQL脚本

创建Hive SQL脚本

2

开发DLI SQL脚本

开发Hive SQL脚本

单击图片可查看原图

Step4 开发作业

步骤

① 在DLF的左侧导航栏,选择“数据开发 > 作业开发”,进入工作区。
② 单击“新建作业”,新建一个作业名为“import_trip”的批处理作业。新建完成后,进入作业开发页面。
③ 将“ETL Job”节点拖到画布中,在“ETL配置””中配置从OBS到DLI的数据转换。
④ “ETL Job”节点的属性配置完成后,单击“测试运行”。
⑤ 作业测试运行通过后,单击保存。

1

创建DLF作业-01

创建DLF作业-01

2

创建DLF作业-02

创建DLF作业-02

3

配置OBS到DLI的数据转换

配置节点属性

4

配置ETL Job节点属性

配置作业调度计划

单击图片可查看原图

Step5 查询DLI表数据

步骤

① 在DLF的左侧导航栏,选择“数据开发 > 脚本开发”,进入工作区。
② 选择“新建SQL脚本 > DLI”,进入DLI脚本开发页面。
③ 在脚本开发页面,选择数据连接“dli”、数据库“trip”,资源队列“default”,然后输入SQL语句SELECT * FROM city_trip并运行。
④ 在“执行结果”页面查看数据。
⑤ 脚本调试通过后,单击“保存”,新建脚本“trip_dll2”。

1

开发DLI SQL脚本

新建通知

2

查看city_trip表数据

配置通知参数

单击图片可查看原图

相关操作指导

视频小图标 Created with Sketch.

三步快速玩转数据湖工厂

视频小图标 Created with Sketch.

编写调试保存脚本

视频小图标 Created with Sketch.

批量删除脚本和作业

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问