Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_ONLY），内存+磁盘（MEMORY_AND_DISK）等。 RDD上支持两种类型的操作：Transformati

查看更多 →

HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。 接口类Table，HBase读写操作类，主要封装了HBase表的读写操作的API，部分常见接口参见表表2。

查看更多 →

HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http://phoenix

查看更多 →

HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http://phoenix

查看更多 →

hdfsFileFreeReadStatistics(stats); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/tmp/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量：

查看更多 →

Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY），磁盘（DISK_ONLY），内存+磁盘（MEMORY_AND_DISK）等。 RDD上支持两种类型的操作：Transformati

查看更多 →

对每个key出现的次数做统计。 foreach(func) 在数据集的每一个元素上，运行函数。 countByValue() 对RDD中每个不同value出现的次数进行统计。 Spark Streaming常用接口 Spark Streaming中常见的类有： pyspark.streaming

查看更多 →

hdfsFileFreeReadStatistics(stats); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量：

查看更多 →

HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http://phoenix

查看更多 →

copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上，其中src和dst均为文件的完整路径。 public boolean mkdirs(Path f) 通过该接口可在HDFS上创建文件夹，其中f为文件夹的完整路径。 public abstract

查看更多 →

在一个KeyedStream上滚动求和操作。 position和field代表对某一列求和。 def sum(field: String): DataStream[T] def min(position: Int): DataStream[T] 在一个KeyedStream上滚动求最小值。m

查看更多 →

HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见： http://phoenix.apache.org/language/functions.html 其支持语法可参见： http://phoenix

查看更多 →

常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题： Oozie应用开发常见问题

查看更多 →

nager上，查询应用程序的运行状态或者中止应用程序等功能。 表1 ApplicationClientProtocol常用方法 方法 说明 forceKillApplication(KillApplicationRequest request) Client通过此接口请求RM中止一个已提交的任务。

查看更多 →

foreach(VoidFunction<T> f) 在数据集的每一个元素上，运行函数func。 java.util.Map<T,Long> countByValue() 对RDD中每个元素出现的次数进行统计。 表3 Spark Core新增接口 API 说明 public java.util.concurrent

查看更多 →

对每个key出现的次数做统计。 foreach(func) 在数据集的每一个元素上，运行函数。 countByValue() 对RDD中每个不同value出现的次数进行统计。 Spark Streaming常用接口 Spark Streaming中常见的类有： pyspark.streaming

查看更多 →

为该API资产添加个性标签，方便用户通过标签了解API资产的特点。 填写完API资产信息后，单击“立即创建”。 等待系统解析API文件。API资产所在行“状态”列如果显示“已上架”，说明解析完成。此时，API资产已成功上架至API中心门户网站。 父主题： 开放API

查看更多 →

HBase REST API接口介绍 MRS 1.6之后，支持采用REST的方式来对HBASE进行相应的业务操作，REST API支持curl命令和Java client来操作HBase，有关curl命令的详细使用方法与Apache HBase保持一致，具体请参见https://hbase

查看更多 →

"amNodeLabelExpression": "" } ] } } 结果分析： 通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType

查看更多 →

查询API接口的版本信息 功能介绍 查询接口的指定版本信息。 调用方法 请参见如何调用API。 URI GET /{version} 表1 路径参数 参数 是否必选 参数类型 描述 version 是 String 查询的目标版本号。 取值为：v1、v2、v3。 请求参数 表2 请求Header参数

查看更多 →

"amNodeLabelExpression": "" } ] } } 结果分析： 通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType

查看更多 →