配置MapReduce应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache

查看更多 →

运行选定的文本 要通过终端执行某些文本，如脚本的一部分，请在编辑器中选择它，然后通过“命令面板”（“Ctrl+Shift+P”/“Ctrl Ctrl”）运行命令Terminal: Run Selected Text in Active Terminal： 终端尝试运行选定的文本。

查看更多 →

别名。skew hint的column不支持表达式，如果需要指定采用分布键为表达式的重分布存在倾斜，需要将重分布键指定为新的列，以新的列进行hint。 对于倾斜值，个数需为列数的整数倍并按列的顺序进行组合，组合的个数不能超过10个。如果各倾斜列的倾斜值的个数不一样，为了满足按列组

查看更多 →

别名。skew hint的column不支持表达式，如果需要指定采用分布键为表达式的重分布存在倾斜，需要将重分布键指定为新的列，以新的列进行hint。 对于倾斜值，个数需为列数的整数倍并按列的顺序进行组合，组合的个数不能超过10个。如果各倾斜列的倾斜值的个数不一样，为了满足按列组

查看更多 →

对于倾斜列，在不产生歧义的情况下，可以使用原名也可以使用别名。skew hint的column不支持表达式，如果需要指定采用分布键为表达式的重分布存在倾斜，需要将重分布键指定为新的列，以新的列进行hint。 对于倾斜值，个数需为列数的整数倍并按列的顺序进行组合，组合的个数不能超过10个

查看更多 →

别名。skew hint的column不支持表达式，如果需要指定采用分布键为表达式的重分布存在倾斜，需要将重分布键指定为新的列，以新的列进行hint。 对于倾斜值，个数需为列数的整数倍并按列的顺序进行组合，组合的个数不能超过10个。如果各倾斜列的倾斜值的个数不一样，为了满足按列组

查看更多 →

对于倾斜列，在不产生歧义的情况下，可以使用原名也可以使用别名。skew hint的column不支持表达式，如果需要指定采用分布键为表达式的重分布存在倾斜，需要将重分布键指定为新的列，以新的列进行hint。 对于倾斜值，个数需为列数的整数倍并按列的顺序进行组合，组合的个数不能超过10个

查看更多 →

降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm

查看更多 →

当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后，可以通过执行结果显示正在执行的应用的运行情况。例如： yarn jar mapreduce-example.jar /tmp/mapred/example/input/ /tmp/root/output/1

查看更多 →

MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用： http://hadoop.apache

查看更多 →

编译成功的窗口。若想了解更多关于发布应用的设置，请参见如何编译发布应用。 单击左下角的，在“发布应用”页面选择“我的仓库”。 设置版本号和描述信息，单击“发布”。 图2 发布到我的仓库 发布成功后，页面显示“程序包已经被成功上传到我的仓库”。 在AstroZero开发环境右上角，单击用户名，选择“运行环境”。

查看更多 →

s参数后添加的文件都上传至HDFS的临时目录，方便Container启动后获取相应的文件。系统通过配置项“yarn.app.mapreduce.am.staging-dir”决定具体存放位置，默认值是“/tmp/hadoop-yarn/staging”。 正常运行的MapRedu

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用： http://hadoop.apache

查看更多 →

;charset=utf8”。 X-Auth-Token 是 String 调用接口的认证方式分为Token和AK/SK两种，如果您使用的Token方式，此参数为必填，请填写Token的值。Token获取方式，请参考认证鉴权。 响应参数 表3 响应Body参数 参数 参数类型 描述

查看更多 →

降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm

查看更多 →

在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。

查看更多 →

代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-security”。 将在准备 MRS 应用开发用户时得到的user.keytab和krb5.conf文件以及准备运行环境时获取的集群配置文件复制到样例工程的“conf”目录下。 导入样例工程到IntelliJ

查看更多 →

Println(err) } } 更多 更多编程语言的SDK代码示例，请参见 API Explorer 的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 请求响应成功 错误码 请参见错误码。 父主题： 环境管理

查看更多 →