根据实际情况选择执行机类型，单击“下一步”，根据表1，配置执行机参数。 表1 执行机参数配置说明 参数 配置说明 所属源 根据实际情况选择。 须知： CDH执行机只支持源端， MRS 执行机支持源端和目的端。 连接名称 默认创建名称为“执行机类型-4位随机数（字母和数字）”，也可以自定义名称。 执行机凭证

查看更多 →

配置CodeArts Artifact中Maven仓库的清理策略 制品仓库清理策略支持自动/手动批量删除满足清理条件的制品，策略减少了仓库存储空间的浪费，使仓库内制品清晰明了，有效保障了制品在开发、测试、部署、上线等步骤间的有序流转。 背景信息 Maven制品的快照（SNAPSHOT）是

查看更多 →

在 CDM 集群的作业管理界面，选择“表/文件迁移 > 新建作业”，每个表文件的目录作为一个迁移作业。 源端作业配置 源连接名称：选择上面创建的CDH HDFS连接。 源目录或文件：选择CDH中HBase的HBase表所在目录。例如“/hbase/data/default/table_20180815”，表

查看更多 →

准备MapReduce开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

√ √ √ √ √ MapReduce服务（MRS HBase） √ × × √ × × × MapReduce服务（MRS Hive） √ √ √ √ √ × √ MapReduce服务（MRS Kafka） √ × √ × × × √ MapReduce服务（MRS Spark）[1]

查看更多 →

are/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-3.1.1.jar:/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-nativetask-3

查看更多 →

然后根据它们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力，这样原来必须用单台较强 服务器 才能运行的任务，在分布式环境下也能完成。 更多信息，请参阅MapReduce教程。 MapReduce结构 MapReduce通过实现YARN的Client和A

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到Hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类：

查看更多 →

MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发常用概念

查看更多 →

准备MapReduce应用开发用户 开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置

查看更多 →

MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站。 http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shu

查看更多 →

执行Maven构建时，提示未开通私有依赖仓 问题现象 异常信息为：may be you have not init release repository。 原因分析 没有开通私有依赖仓。 处理方法 单击CodeArts首页“服务 > 私有依赖库” ，选择开通，待开通完成之后重新执行构建即可。

查看更多 →

如何查找Maven构建中正确的构建包路径 新建Maven构建任务，在“Maven构建”构建步骤后增加“上传软件包到软件发布库”构建步骤。 配置构建包路径，填写任意路径并保存。 执行构建任务，在日志中找到BUILD SUCCESS信息。 往上几行找到形如“/target/****.war”的信息，即为准确的构建包路径。

查看更多 →

，该主机必须安装Python3。 迁移Maven组件 从Maven本地仓库（例如：C:\Users\xxxxx\.m2\repository）找到需迁移的组件，复制到指定目录（用户自己指定）。 进入私有依赖库，在左侧边栏中选择目标Maven私有依赖库。 单击仓库名称，页面中仓库的

查看更多 →

Java函数开发指南（使用IDEA工具maven项目） 开发Java函数，以下给出Demo示例步骤： 创建函数工程 配置idea，创建maven工程，如图1所示。 图1 创建工程 添加工程依赖。 根据Java SDK下载提供的SDK地址，下载JavaRuntime SDK到本地开发环境解压，如图2所示。

查看更多 →