数据湖工厂 DLF
数据湖工厂 DLF
- 最新动态
- 产品介绍
-
用户指南
- 环境准备
- IAM权限管理
- 数据管理
- 数据集成
- 数据开发
- 解决方案
- 运维调度
- 配置管理
- 配置
- 使用教程
-
参考
-
节点
- 节点概述
- CDM Job
- DIS Stream
- DIS Dump
- DIS Client
- Rest Client
- Import GES
- MRS Kafka
- Kafka Client
- CS Job
- DLI SQL
- DLI Spark
- DWS SQL
- MRS SparkSQL
- MRS Hive SQL
- MRS Presto SQL
- MRS Spark
- MRS Spark Python
- MRS Flink Job
- MRS MapReduce
- CSS
- Shell
- RDS SQL
- ETL Job
- OCR
- Create OBS
- Delete OBS
- OBS Manager
- Open/Close Resource
- Data Quality Monitor
- Sub Job
- SMN
- Dummy
- For Each
- 表达式
-
节点
- 修订记录
- API参考
- 常见问题
- 产品术语
- 通用参考
链接复制成功！
开发一个Hive SQL脚本
本章节介绍如何在数据开发模块上进行Hive SQL开发。
场景说明
数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。
环境准备
建立Hive的数据连接
开发Hive SQL前，我们需要在数据开发模块中建立一个到MRS Hive的连接，数据连接名称为“hive1009”。
图1 创建数据连接
关键参数说明：
- 集群名：•已开通MapReduce服务MRS，并创建MR...中创建的MRS集群。
- 绑定Agent：•已开通数据迁移服务CDM，并创建CDM集群“c...中创建的CDM集群。
开发Hive SQL脚本
在数据开发模块中创建一个Hive SQL脚本，脚本名称为“hive_sql”。在编辑器中输入SQL语句，通过SQL语句来实现业务需求。
关键说明：
- 图2中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。请单击
，将脚本保存至指定的目录中。 - 数据连接：建立Hive的数据连接创建的连接。
开发Hive SQL作业
Hive SQL脚本开发完成后，我们为Hive SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。
- 创建一个数据开发模块空作业，作业名称为“job_hive_sql”。
图3 创建job_hive_sql作业
- 然后进入到作业开发页面，拖动MRS Hive SQL节点到画布中并单击，配置节点的属性。
图4 配置MRS Hive SQL节点属性
关键属性说明：
- SQL脚本：关联开发Hive SQL脚本中开发完成的Hive SQL脚本“hive_sql”。
- 数据连接：默认选择SQL脚本“hive_sql”中设置的数据连接，支持修改。
- 数据库：默认选择SQL脚本“hive_sql”中设置的数据库，支持修改。
- 节点名称：默认显示为SQL脚本“hive_sql”的名称，支持修改。
- 作业编排完成后，单击
，测试运行作业。 - 如果日志运行正常，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。
图5 配置调度方式
说明：
- 2018/10/11至2018/11/10，每天2点执行一次作业。
- 最后我们需要保存作业（单击
），并执行调度作业（单击
），实现作业每天自动运行。
父主题： 使用教程
