ala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁

查看更多 →

数据开发设置 操作步骤 编辑器提供基础的设置，包含操作栏、快捷键和存储设置，如果没有对应的OBS桶，可以跳转去创建，具体操作请参见《 对象存储服务 控制台指南》中的创建桶章节。 登录 GaussDB (DWS)管理控制台。 在左侧导航栏中，选择“数据 > SQL编辑器”。 单击“设置”按钮，可根据需求设置相应参数。

查看更多 →

F”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块，用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 图1 数据开发模块架构 数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、 DLI 、 MRS

查看更多 →

数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口

查看更多 →

资产安装（API接口：installTaskScenes） 功能介绍 安装资料文件 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式 HTTPS地址

查看更多 →

Spark scala API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scala应

查看更多 →

YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol

查看更多 →

Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT... data) 获取用户定义的多个元素的数据，作为输入流数据。 type为元素的数据类型。 data为多个元素的具体数据。

查看更多 →

HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。 接口类Table，HBase读写操作类，主要封装了HBase表的读写操作的API，部分常见接口参见表表2。

查看更多 →

类。常用接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient：操作colocation文件的接口。常用接口参见表4。

查看更多 →

常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题： Oozie应用开发常见问题

查看更多 →

HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：http://hadoop.apache.org/docs/r3.1.1/hadoop-proj

查看更多 →

类。常用接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient：操作colocation文件的接口。常用接口参见表4。

查看更多 →

常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie Rest接口介绍 父主题： Oozie应用开发常见问题

查看更多 →

Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers

查看更多 →

常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题： Oozie应用开发常见问题

查看更多 →

Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Jav

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类的p

查看更多 →

Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT... data) 获取用户定义的多个元素的数据，作为输入流数据。 type为元素的数据类型。 data为多个元素的具体数据。

查看更多 →

name VARCHAR); 插入数据： UPSERT INTO TEST(id,name) VALUES ('1','jamee'); 查询数据： SELECT * FROM TEST; 删表： DROP TABLE TEST; 父主题： HBase接口介绍

查看更多 →

类。常用接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient：操作colocation文件的接口。常用接口参见表4。

查看更多 →