辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从

查看更多 →

来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS，在一定程度上可以减少日志文件的数量。但在规模较大且任务繁忙的集群上，经过长时间的运行，HDFS依然会面临存储的日志文件过多的问题。 以

查看更多 →

二次开发的免费试用账号如何申请？ 请参考《华为云会议开发指南》中“开发流程”章节的开发前准备。 父主题： 客户端业务使用

查看更多 →

辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce任务提交样例 MapReduce服务 MRS MapReduce多组件调用样例 23:46 MapReduce多组件调用样例 MapReduce服务 MRS Hive的HCatalog接口调用样例 10:40 Hive的HCatalog接口调用样例 MapReduce服务 MRS Hive的JDBC接口调用样例

查看更多 →

挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

查看更多 →

输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

任意（自动转为String） 是 需要被合并的值。 value2 任意（自动转为String） 是 需要被合并的值。 combine_sep 任意（自动转为String） 否 合并时元素之间的合并标识，默认为# sep 任意（自动转为String） 否 合并后元素之间的分隔符，仅支持单个字符，默认为

查看更多 →

用户登录二次认证配置 OneAccess支持用户登录时进行二次认证的功能，提供更为安全的保障，本文以用户门户为例，为您介绍如何实现二次认证的配置以及使用。 前提条件 请确保您已拥有OneAccess管理门户的访问权限。 在OneAccess中开启应用二次认证功能 在OneAcce

查看更多 →

获取按指定指标排序的函数列表 功能介绍 按指定指标排序的函数列表。 默认统计按错误次数指标统计最近一天失败次数最多的前10个函数 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/fgs/function/report 表1 路径参数 参数 是否必选

查看更多 →

更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/

查看更多 →

更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/

查看更多 →

辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从

查看更多 →

待确认原因：待同步数据库的lc_ctype或lc_collate在目标库不被支持。 处理建议：请确认是否允许全量同步阶段在目标创建数据库时设置lc_ctype或lc_collate为实例默认值，lc_collate不一致可能会影响字符串的排序规则，lc_ctype不一致可能会影响数据的一致性及字符的分类和转换。

查看更多 →

文件列表是否支持排序？ 文件列表支持按照“大小”和“最后修改时间”进行排序，您可以单击参数后的按钮对文件进行排序。 最后修改时间排序，支持前1000个文件按照时间排序。如果并行文件系统内文件数量超过5000条，文件列表按照英文单词在字典中的先后顺序进行排序，且只支持按文件名的前缀搜索。

查看更多 →

如果开启“自定义行为类型”, 算法则按用户设置的行为类型及权重进行排序预处理任务，否则默认使用数据源中的行为类型及权重进行任务。 “正向行为类型”：设置正向行为的类型及权重值。 “负向行为类型”：设置负向行为的类型及权重值。 行为去重方式 将行为数据中某个用户对某个物品的多条记录进行去重，目前支持按

查看更多 →

下，即“…_ci”结尾的不区分大小写的排序字符集，可能在数据迁移时发生“重复键”报错，导致数据迁移失败。 不通过提示及处理建议 不通过原因：目标库的排序字符集不支持。 处理建议：修改目标端的排序字符集至区分大小写的（非_ci结尾的）排序字符集。 父主题： 数据库参数检查

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →