描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

的端口号。 操作步骤 参考获取 MRS 应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-examples”中的OozieMapReduceExample、OozieSparkHBaseExample和

查看更多 →

176:21003/oozie”。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-examples”中的OozieMapReduceExample、OozieSparkHBaseExample和

查看更多 →

编辑文件夹 操作场景 本文指导您在应用运行态编辑文件夹。 前提条件 已登录应用运行态。 操作步骤 在左侧导航栏中，选择“数据模型管理 > 文件夹”，进入“文件夹”页面。 将鼠标移动至需要编辑的文件夹上，单击。 图1 编辑文件夹 在弹出的窗口中，编辑文件夹信息，单击“确定”。 父主题：

查看更多 →

管理文件夹 创建文件夹 分享文件夹 统计文件夹中的对象数量和大小 父主题： 对象管理

查看更多 →

送货批号采集【合并】（PDA） 【功能说明】 用于采集供应商的非系统生成的物料批号，并与送货单绑定 【操作步骤】 查询送货单号：选择查询条件：开始日期和结束日期必选，默认为当前日期的前一个月，业务类型和工厂名称根据需要选择 -> 单击“获取送货单”按钮，查询出符合条件的送货单； 图1

查看更多 →

合并段(Java SDK) 功能说明 如果用户上传完所有的段，就可以调用合并段接口，系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前，用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中，其处理过程和普通

查看更多 →

yarn.app.mapreduce.am.staging-dir 提交作业时使用的staging目录。 /tmp/hadoop-yarn/staging 777 mapreduce.jobhistory.intermediate-done-dir MapReduce作业记录历史文件的目录。

查看更多 →

yarn.app.mapreduce.am.staging-dir 提交作业时使用的staging目录。 /tmp/hadoop-yarn/staging 777 mapreduce.jobhistory.intermediate-done-dir MapReduce作业记录历史文件的目录。

查看更多 →

删除文件夹 操作场景 本文指导您在应用运行态删除文件夹。删除后的数据不可恢复，请谨慎操作！ 注意事项 如果待删除的文件夹存在 数据实例 ，该文件夹不可删除。如需删除，需先修改数据实例的文件夹，具体操作请参见修改数据实例或编辑已检出的数据实例（M-V模型）。 前提条件 已登录应用运行态。

查看更多 →

查看文件夹 操作场景 本文指导您在应用运行态查看文件夹中的数据。 前提条件 已登录应用运行态。 操作步骤 在左侧导航栏中，选择“数据模型管理 > 文件夹”，进入“文件夹”页面。 选择需要查看的文件夹，即可在右侧的文件夹列表中，查看该文件夹下的数据。 图1 文件夹详情 在文件夹列表

查看更多 →

分享文件夹 操作场景 您可以使用文件夹分享功能，将OBS中的整个文件夹分享给所有用户。 分享文件夹包含临时分享和永久共享。 背景知识 临时分享： 通过文件夹的临时URL直接将其分享给其他用户。文件夹分享强调临时性，所有分享的URL都是临时URL，存在有效期。 临时分享分为两种方式：提取码分享、直接分享。

查看更多 →

如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

分享文件夹 操作场景 您可以使用文件夹分享功能，将OBS中的整个文件夹分享给所有用户。 背景知识 文件夹分享强调临时性，存在有效期。分享者需要先设置一个6位数的提取码，再创建分享。创建成功后，OBS会自动将文件夹中的所有对象的下载链接汇总到一个静态网站中，并托管到一个公共的OBS

查看更多 →

共享文件夹 创建共享文件夹 成员管理 删除共享文件夹 父主题： 管理NAS存储

查看更多 →

下载的文件包含了“Apache”、“IIS”、“Nginx”、“Tomcat”4个文件夹和1个“domain.csr”文件，如图1所示。 图1 本地解压SSL证书 从“证书ID_证书绑定的 域名 _Nginx”文件夹内获得证书文件“证书ID_证书绑定的域名_server.crt”和私钥文件“证书ID_证书绑定的域名_server

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类

查看更多 →

用的端口号。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples”中的OozieMapReduceExample，OozieSparkHBaseExample和O

查看更多 →

分支开发模式：是采用直接 clone 源项目中心仓的方式，由新建分支向目标分支发起合并请求提交代码，让任何一个开发者都可以方便的向开源项目贡献代码。该模式没有代码评审的机制，开发者之间的协作与交流少而不顺畅，因此多适用于小团队开发。对于较大的团队，建议使用 fork 开发模式。 Fork开发

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →