根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将 MRS 资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其他功能。

查看更多 →

Hetu已开启Ranger权限管控，详情请参考HetuEngine权限管理概述。 配置hetu权限同步策略前，已在管理中心创建MapReduce服务（MRS Hive）和MapReduce服务（MRS Hetu）类型的数据连接，请参考创建 DataArts Studio 数据连接。 约束与限制 仅DAYU

查看更多 →

准备MapReduce应用开发环境 MapReduce应用开发环境简介 准备MapReduce应用开发用户 准备Eclipse与JDK 准备MapReduce应用运行环境 导入并配置MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南

查看更多 →

开放平台灵活操作：OpenAPI 灵活进行能力扩展，更好地与客户业务系统协作 技术架构 图2 部署架构图 方案通过华为云 MapReduce服务MRS、云 数据仓库 GaussDB(DWS)实现大数据集群的管理、提供神策通用数据的接入和加工，同时通过 MapReduce服务MRS的数据应用和机器学习应用补充神策平台的算法和 数据可视化 能力；

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) M

查看更多 →

MapReduce应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求：4.2。 安装JDK 版本要求：1.8版本。 父主题：

查看更多 →

（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南（安全模式）

查看更多 →

（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题： MapReduce开发指南（普通模式）

查看更多 →

ceManager是一个全新的资源管理系统，而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 父主题： MapReduce

查看更多 →

xml”文件中的如下参数： “mapreduce.reduce.memory.mb” “mapreduce.reduce.java.opts” 例如：如果10个mapper的数据大小为5GB，那么理想的堆内存是1.5GB。随着数据大小的增加而增加堆内存大小。 父主题： MapReduce常见问题

查看更多 →

通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false

查看更多 →

MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。

查看更多 →

xml”文件中的如下参数： “mapreduce.reduce.memory.mb” “mapreduce.reduce.java.opts” 例如：如果10个mapper的数据大小为5GB，那么理想的堆内存是1.5GB。随着数据大小的增加而增加堆内存大小。 父主题： MapReduce常见问题

查看更多 →

以及处于该状态的原因。 具体操作：在公有云管理控制台，选择“基本信息 > Yarn监控信息”进入Web界面，单击提交的MapReduce任务，在打开的页面中查看诊断信息，根据诊断信息再采取相应的措施。 或者也可以通过查看MapReduce日志了解应用运行情况，并根据日志信息调整应用程序。

查看更多 →

Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） 华为云MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的

查看更多 →

云硬盘EVS用户指南 虚拟私有云VPC 虚拟私有云VPC用户指南 弹性公网IP EIP 弹性公网IP EIP用户指南 云桌面 Workspace 云桌面Workspace 用户指南 云容器引擎 CCE 云容器引擎CCE用户指南 弹性负载均衡 ELB 弹性负载均衡ELB用户指南 应用与 数据集成平台 ROMA

查看更多 →

配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并授权控制用户对资源的访问范围。例如您的员工中有负责应用开发的人员，您希望开发人员拥有MapReduce服务的使用权限，但是不希望其拥有删除MRS集群等高危操作的权限

查看更多 →