衡量指标主要用于查看相应的指标来发现Hive服务或执行过程中的一些问题，尽快能定位Hive的性能问题。通常我们查看指标的顺序应该是通用指标，接入层指标，HiveMetaStore，HiveServer相关指标，其它相关组件的指标（如MapReduce/Spark/HDFS）。下面列举目前可查看到的相关指标信息：

查看更多 →

mples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/oozienormal-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

usionInsight-Spark-*/spark/examples/jars命令， 查看样例程序的jar包。 jar包名最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 执行程序可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS

查看更多 →

ecutor执行Task并向Driver汇报运行状况。 Yarn和MapReduce的关系 MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和T

查看更多 →

文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前，<outputPath>目录必须不存在，否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 对于MapReduce访问多组件样例程序，操作步骤如下。

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的data frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者是RDD。 Spark Streaming常用概念 Dstream

查看更多 →

ght Manager，选择“集群 > 服务 > Oozie > 配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”查看。 [root@kwephispra44947 map-reduce]# oozie job -oozie https://kwephispra44948:21003/oozie/

查看更多 →

返回该RDD与其它RDD的笛卡尔积。 表2 Action API 说明 reduce(f: (T, T) => T): 对RDD中的元素调用f。 collect(): Array[T] 返回包含RDD中所有元素的一个数组。 count(): Long 返回的是dataset中的element的个数。 first():

查看更多 →

返回该RDD与其它RDD的笛卡尔积。 表2 Action API 说明 reduce(f: (T, T) => T): 对RDD中的元素调用f。 collect(): Array[T] 返回包含RDD中所有元素的一个数组。 count(): Long 返回的是dataset中的element的个数。 first():

查看更多 →

通过主机连接，用户可以在 DataArts Studio 数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 父主题： 管理中心

查看更多 →

构化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的Data Frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者RDD。 Spark SQL的程序入口是SQLContex

查看更多 →

在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。

查看更多 →

在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题： 调测Spark应用

查看更多 →

您可以从项目目录下的target文件夹中获取到Jar包。 图6 获取jar包 将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行

查看更多 →

化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的data frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者是RDD。 Spark Streaming常用概念 Dstream

查看更多 →

表2 Action API 说明 reduce(f) 对RDD中的元素调用Func。 collect() 返回包含RDD中所有元素的一个数组。 count() 返回的是dataset中的element的个数。 first() 返回的是dataset中的第一个元素。 take(num)

查看更多 →

表2 Action 方法 说明 reduce(f) 对RDD中的元素调用Func。 collect() 返回包含RDD中所有元素的一个数组。 count() 返回的是dataset中的element的个数。 first() 返回的是dataset中的第一个元素。 take(num)

查看更多 →

业前需要将待分析数据上传至OBS系统， MRS 使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析后，您可以将数据存储在HDFS中，也可以将集群中的数据导出至OBS系统。HDFS和OBS也支持存储压缩格

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →