调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

运行MapReduce作业 用户可将自己开发的程序提交到 MRS 中，执行程序并获取结果。本章节指导您在MRS集群页面如何提交一个新的MapReduce作业。MapReduce作业用于提交jar程序快速并行处理大量数据，是一种分布式数据处理模式和执行环境。 若在集群详情页面不支持“作

查看更多 →

配置MapReduce Job基线 操作场景 确定Job基线是调优的基础，一切调优项效果的检查，都是通过和基线数据做对比来获得。 Job基线的确定有如下三个原则： 充分利用集群资源 Reduce阶段尽量放在一轮 每个Task的执行时间要合理 操作步骤 原则一：充分利用集群资源。

查看更多 →

msc直接进入本地安全策略控制面板，如图1所示。 图1 输入命令 选择“帐户策略 > 密码策略”后执行以下操作，如图2所示。 双击“密码必须符合复杂性要求”，勾选“已启用”选项，单击“确定”，启用“密码必须符合复杂性要求”策略。 双击“密码长度最小值”，填入长度（建议大于等于8），单击“确定”，设置“密码长度最小值”策略。

查看更多 →

Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处

查看更多 →

和 数据可视化 能力； 通过 MapReduce服务 MRS平台提供大数据集群的算力和存储支持，通过神策埋点数据和集成的业务系统获取数据后会将数据存储在MapReduce服务MRS 集群当中； 通过MapReduce服务MRS的数据服务和算法服务助力神策进行复杂的数据处理、算法分析模型、算法标签数据等方面的能力提升；

查看更多 →

MapReduce服务MRS接入LTS 支持MapReduce服务MRS日志接入LTS，具体接入方法请参见MRS服务对接云日志服务。 父主题： 使用云服务接入LTS

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类：

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ

查看更多 →

准备MapReduce开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

当前MRS提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-security MapReduce统计数据的应用开发示例： 提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMa

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类：

查看更多 →

MapReduce Java API接口介绍 关于MapReduce的详细API可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache

查看更多 →

门》提供了样例的详细操作指导，您可以基于此操作指导，创建和使用MRS集群。 使用更多的功能，并查看其相关操作指导 如果您是一个MRS集群使用和运维人员，可以参考用户指南完成集群的生命周期管理、扩缩容以及作业管理等操作。集群中组件的使用指导可以详细参考组件操作指南。 如果您是一个开

查看更多 →

当策略应用于 服务器 时，域策略优先生效于服务器上本地定义的策略。 选择“账户策略 > 密码策略”后执行以下操作。 双击“密码必须符合复杂性要求”，勾选“已启用”选项，单击“确定”，启用“密码必须符合复杂性要求”策略。 双击“密码长度最小值”，填入长度（建议大于等于8），单击“确定”，设置“密码长度最小值”策略。

查看更多 →

，存储过程，触发器，视图，分区（删除），主键（增加/删除/修改），事务，用户，角色，权限，事件等对象的操作。 不支持同步的索引相关操作请参见表5。 表5 不支持同步的索引相关操作 DDL名称 SQL样例 添加索引 ALTER TABLE tbl_name ADD INDEX name;

查看更多 →

配置MapReduce应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

MapReduce Java API接口介绍 关于MapReduce的详细API可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →