utPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前，需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。

查看更多 →

VPN支持将两个VPC互连吗？ 如果两个VPC位于同一区域内，不支持VPN互连，推荐使用VPC对等连接互连。 如果两个VPC位于不同区域，支持VPN互连，具体操作如下： 为这两个VPC分别创建VPN网关，并为两个VPN网关创建VPN连接。 将两个VPN连接的对端网关设置为对方VPN网关的网关EIP。

查看更多 →

VPN支持将两个VPC互连吗？ 如果两个VPC位于同一区域内，不支持VPN互连，推荐使用VPC对等连接互连。 如果两个VPC位于不同区域，支持VPN互连，具体操作如下： 为这两个VPC分别创建VPN网关，并为两个VPN网关创建VPN连接。 将两个VPN连接的对端网关设置为对方VPN网关的网关EIP。

查看更多 →

自动根据文件的后缀选择对应的解压方法，对文件进行解压。 TEXT_FILE 文件分割方式 选择按文件或大小分割源文件，作为数据导出的MapReduce任务中各个map的输入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配

查看更多 →

输入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存

查看更多 →

云端两个Region，每Region有两个子网，是否可以创建两个VPN连接，分别连通不同子网？ 不可以。 两个Region间只需创建一个VPN连接即可，在VPN连接中将两个子网都加入到VPN中。 针对这种场景，如果用户试图去创建第二条VPN连接，由于两个连接的远端网关地址一样，因此管理控制台界面会提示冲突。

查看更多 →

日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。

查看更多 →

日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。

查看更多 →

MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能。 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“

查看更多 →

WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 通过MapReduce日志获取应用程序运行情况。 前提条件 已将准备连接MapReduce集群配置文件获取的配置文件放置到“conf”目录下（例如“/opt/client/conf”，该目录需要与2上传的“MRTest-XXX.jar”包所在目录相同）。

查看更多 →

VPN支持将两个VPC互连吗？ 如果两个VPC位于同一区域内，不支持VPN互连，推荐使用VPC对等连接互连。 如果两个VPC位于不同区域，支持VPN互连，具体操作如下： 为这两个VPC分别创建VPN网关，并为两个VPN网关创建VPN连接。 将两个VPN连接的远端网关设置为对方VPN网关的网关IP。

查看更多 →

utPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前，需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。

查看更多 →

登录Manager页面，进入Mapreduce服务配置参数页面。 MRS Manager界面操作：登录MRS Manager，选择“服务管理 > Mapreduce > 服务配置 > 全部配置”。 FusionInsight Manager界面操作：登录FusionInsight Manager，选择“集群

查看更多 →

Excel打开监控数据 CS V文件乱码如何处理？ 用户使用 云监控服务 可以将监控数据导出为csv文件，而使用Excel工具打开该文件时，可能出现中文乱码的情况。这是因为云监控服务导出的csv文件使用了UTF-8编码格式，而Excel是以ANSI格式打开的，没有做编码识别。针对此问题有以下解决方案：

查看更多 →

MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。 本实践基于华为云MapReduce服务，用

查看更多 →

默认存放7天的eventLog，配置项为spark.history.fs.cleaner.maxAge；MapReduce默认存放15天的任务日志，配置项为mapreduce.jobhistory.max-age-ms）。 如果Yarn页面上也找不到，可能是被Yarn清理了（默认

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题： MapReduce开发指南

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

运行MapReduce作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台

查看更多 →