上下载到本地，看到是gz结尾的文件，使用tar命令解压报错，格式不正确无法解压。使用file命令查看文件属性发现此文件来自于FAT系统的压缩而非UNIX。 解决办法 将格式不正确的文件移除HDFS目录或者替换为正确的格式的文件。 父主题： 使用Hive

查看更多 →

多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：

查看更多 →

操作步骤 获取MapReduce上已完成任务的具体信息 命令： curl -k -i --negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JH

查看更多 →

Mapreduce应用开发规则 继承Mapper抽象类实现 在Mapreduce任务的Map阶段，会执行map()及setup()方法。 正确示例： public static class MapperClass extends Mapper<Object, Text, Text

查看更多 →

ROMA设计与实施服务有效期多长？ ROMA设计与实施服务单为一次性计费服务，不存在有效期这一说法，无固定有效期。 父主题： 关于服务咨询

查看更多 →

ROMA运维与管理服务有效期多长？ ROMA运维与管理服务单为一次性计费服务，不存在有效期这一说法，无固定有效期。 父主题： 关于服务咨询

查看更多 →

多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：

查看更多 →

03011016 RTU个数不正确 错误码描述 RTU实时计算单元个数不正确。 可能原因 用户在启动管道作业时，选择的RTU实时计算单元个数不正确，每个作业可使用的RTU实时计算单元数量必须在 2 - 1024之内。 处理建议 请将RTU实时计算单元个数修改到正确的范围内。 父主题： 数据管道相关错误码

查看更多 →

03011016 RTU个数不正确 错误码描述 RTU实时计算单元个数不正确。 可能原因 用户启动实时分析作业时，选择的RTU实时计算单元个数不正确，每个作业可使用的RTU实时计算单元数量必须在 2 - 1024之内。 处理建议 请将RTU实时计算单元个数修改到正确的范围内。 父主题： 实时分析相关错误码

查看更多 →

IoTA.99000010 请求参数不正确 错误码描述 请求参数不正确。 可能原因 用户访问IoT数据分析服务时携带的参数不正确。 处理建议 用户根据错误提示修正参数后再重试。 父主题： 公共错误码

查看更多 →

文件不存在或者路径不正确 问题现象 日志信息提示“无法获取...文件状态...没有那个文件或目录”。 原因分析 该现象有如下两个原因： 文件不存在，系统无法找到源文件。 文件路径不是绝对路径，系统无法解析到正确的路径。 处理方法 根据失败的原因，对应处理方法如下： 确保拷贝的源文

查看更多 →

分类”，添加新的分类。 问题 即问答知识对中的问题部分，将作为问答知识的标题进行展示，建议使用最常用的标准问法。 相似问法 问题对应的相似说法，命中相似的问法也会采用该问答知识对应的答案。 小微播放提示语 命中该问题之后，端侧小微会进行播报的语句，默认为“为您找到以下答案”，支持

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →