Oozie应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop job任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。

查看更多 →

Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。

查看更多 →

Streaming应用开发指导。 Spark开发接口简介 Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分类，Spark的API接口如表1所示。

查看更多 →

开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题：

查看更多 →

开发IoTDB应用 IoTDB JDBC样例程序 IoTDB Session样例程序 IoTDB Flink样例程序 IoTDB Kafka样例程序 IoTDB自定义函数（UDF）样例程序 父主题： IoTDB开发指南（安全模式）

查看更多 →

Doris数据读写操作的应用开发示例。 通过调用Doris接口可实现创建用户表、向表中插入数据、查询表数据、删除表等功能，相关业务场景介绍请参见Doris JDBC接口调用样例程序。 springboot/doris-examples Doris数据读写操作的SpringBoot应用开发示例。

查看更多 →

快速开发HDFS应用 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量

查看更多 →

快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi

查看更多 →

快速开发Spark应用 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：

查看更多 →

Oozie应用开发概述 Oozie应用开发应用开发简介 Oozie应用开发常用概念 Oozie应用开发流程 Oozie应用开发样例工程介绍 父主题： Oozie开发指南（安全模式）

查看更多 →

</workflow-app> 编写Coordinator任务文件“coordinator.xml”。 完成每天一次的定时数据分析工作，请参见配置Coordinator定时调度作业。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户，准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。

查看更多 →

Streaming应用开发指导。 Spark开发接口简介 Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。

查看更多 →

HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程 HBase应用开发样例工程介绍 父主题： HBase开发指南（普通模式）

查看更多 →

HBase应用开发流程 本文档主要基于Java API对HBase进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ

查看更多 →

Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。

查看更多 →

RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 ApplicationMaster（AM） 用户提交的每个应用程序均包含一个AM，主要功能包括： 与RM调度器协商以获取资源（用Container表示）。

查看更多 →

FlinkHBaseJavaExample 通过Flink API作业读写HBase数据的应用开发示例。 相关业务场景介绍请参见Flink读取HBase表样例程序。 FlinkHudiJavaExample 通过Flink API作业读写Hudi数据的应用开发示例。 相关业务场景介绍请参见Flink读取Hudi表样例程序。

查看更多 →

Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。

查看更多 →

Oozie应用开发流程 本文档主要基于Java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。

查看更多 →

通常 MRS 应用开发流程如下图所示，各组件应用的开发编译操作可参考组件开发指南对应章节。 图1 MRS应用开发流程 表1 MRS应用开发流程说明 阶段 说明 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用IntelliJ IDEA工具，同时本地需完成JDK、Maven等初始配置。

查看更多 →

Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。

查看更多 →