MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。

查看更多 →

API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client

查看更多 →

使用Mapreduce 配置日志归档和清理机制 降低客户端应用的失败率 将MR任务从Windows上提交到Linux上运行 配置使用分布式缓存 配置MapReduce shuffle address 配置集群管理员列表 MapReduce日志介绍 MapReduce性能调优 MapReduce常见问题

查看更多 →

MapReduce简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（application

查看更多 →

MapReduce简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输入的数

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

codec为“org.apache.hadoop.io.compress.ZStandardCode”： set hive.exec.compress.output=true; set mapreduce.map.output.compress=true; set mapreduce.map.output

查看更多 →

多次从同一备份（xfs类型文件系统备份）创建云硬盘并挂载到同一个服务器，且该服务器已挂载多个云硬盘（xfs类型文件系统）。当在系统中执行mount命令挂载此类云硬盘时，云硬盘会挂载失败。云硬盘（xfs类型文件系统）的superblock中存储了该文件系统的唯一标识UUID，当服务器挂载多块云硬盘时，服务器上存在多个相同的UUID，导致云硬

查看更多 →

使用案例 int类型参数 from modelarts import workflow as wf wf.Placeholder(name="placeholder_int", placeholder_type=wf.PlaceholderType.INT, default=1,

查看更多 →

使用案例 统一存储主要用于JobStep中，下面代码示例全部以单训练节点为例。 from modelarts import workflow as wf # 构建一个InputStorage对象, 并且假设配置的根目录为"/root/input-data/" input_storage

查看更多 →

使用案例 主要包含三种场景的用例： 将指定存储路径下的数据导入到目标数据集中 基于已标注的数据导入到数据集中。 基于未标注的数据导入到数据集中。 将指定存储路径下的数据导入到指定标注任务中。 基于已标注的数据导入到标注任务中。 基于未标注的数据导入到标注任务中。 基于数据集创建节点构建数据集导入节点。

查看更多 →

使用案例 主要包含六种场景的用例： 基于JobStep的输出注册模型 基于OBS数据注册模型 使用模板方式注册模型 使用 自定义镜像 注册模型 使用自定义镜像+OBS的方式注册模型 使用订阅模型+OBS的方式注册模型 从训练作业中注册模型（模型输入来源JobStep的输出） import

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

案例概述 场景介绍 通过LTS云日志服务，快速完成E CS 等服务器的任务运行日志采集、加工和转换。 通过 函数工作流 服务中的函数创建LTS触发器获取日志数据，经由自定义函数对日志中的关键信息进行分析和处理，过滤出告警日志。 SMN消息通知服务通过短信和邮件推送告警信息，通知业务人员进行处理。

查看更多 →

案例概述 本手册基于函数流服务实践所编写，用于指导您使用函数流服务实现OBS数据处理的功能。（当前函数流暂时支持华北-北京四、华北-乌兰察布二零一、华北-乌兰察布二零二、华东-上海一、华东-上海二、华南-广州、西南-贵阳一、亚太-新加坡、） 场景介绍 用户使用函数流编排函数方式自

查看更多 →

案例概述 本章节作为最佳实践的整体介绍，包含以下内容： 场景介绍和案例价值点 准备 构建程序 添加事件源 处理结果 应用扩展 场景介绍 通过 云日志服务LTS ，快速完成ECS等服务器的任务运行日志的采集、加工和转换。 通过函数工作流服务中的函数创建LTS触发器获取日志数据，经由自定

查看更多 →

案例概述 FunctionGraph支持在函数内访问客户的Redis数据库。本文介绍如何使用FunctionGraph和Redis客户端的能力，实现一个高可定制、高可靠、高可观测的最佳实践。 父主题： 使用函数访问Redis数据库

查看更多 →

成功返回200 { "articles" : [ { "id" : "案例Id", "code" : "案例编码", "name" : "案例名称", "url" : "案例链接", "product_type_id" : "产品类型Id",

查看更多 →