单击任务卡片中的启动数据处理任务。 说明： 处理时长依赖您选择的待处理数据大小、数量、复杂度、处理等级等因素，耗时可能比较久，请您耐心等待。 未运行、停止成功、失败 停止任务 单击任务卡片中的停止数据处理任务。 执行中、等待中 归档任务 单击任务卡片中的归档任务。 执行成功 解除归档任务

查看更多 →

“数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。“数据处理”又分为“数据校验”、“数据清洗”、“数据选择”和“数据增强”四类。 “数据校验”表示对数据集进行校验，保证数据合法。 “数据清洗”表示对数据进行去噪、纠错或补全的过程。 “

查看更多 →

处理卫星影像生产任务 新建任务完成后，启动任务即可开始遥感影像的任务处理。 前提条件 已创建卫星影像生产任务。 操作步骤 登录KooMap管理控制台。 在左侧导航栏选择“工作共享空间管理”，然后在右侧页面单击工作共享空间名称。 单击“卫星影像概览”页签，进入任务概览页。 选择需要

查看更多 →

新增精修后处理任务 在弹出的“精修流程”页面，了解精修流程，并创建精修后处理任务。 下载实景三维建模成果数据。 下载并仔细阅读精修规范后，再进行离线精修实景三维建模成果数据。 图2 下载并阅读精修规范 在“后处理任务别名”输入信息，单击，新增的后处理任务将在“后处理任务列表”中显示。

查看更多 →

单击任务列表操作列下的“启动”，启动精修后处理任务。 停止任务 已启动精修后处理任务 单击任务列表操作列下的“更多 > 停止”，停止精修后处理任务。 删除任务 已创建精修后处理任务 单击任务列表操作列下的“更多 > 删除”，删除精修后处理任务。 查看文件夹 已创建精修后处理任务 单击任务列表操作列下的“查

查看更多 →

ALM-18006 执行MapReduce任务超时（2.x及以前版本） 告警解释 告警模块每30秒周期性检测MapReduce任务。任务提交后，当检测到MapReduce任务执行时间超过指定时间时，产生该告警。 该告警需要手动清除。 告警属性 告警ID 告警级别 可自动清除 18006

查看更多 →

为什么在Hive自定义配置中添加OBS快删目录后不生效 Hive配置类问题 父主题： 使用Hive

查看更多 →

为什么在Hive自定义配置中添加OBS快删目录后不生效 Hive配置类问题 父主题： 使用Hive

查看更多 →

String 数据处理任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 create_version 否 Boolean 创建任务时是否同步创建一个任务版本。可选值如下： true：创建任务时同步创建一个任务版本 false：创建任务时不创建任务版本（默认值）

查看更多 →

Reduce任务启动时会挂起并监测8000端口，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations

查看更多 →

Reduce任务启动时会挂起并监测8000端口，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations

查看更多 →

Reduce任务启动时会挂起并监测8000端口，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations

查看更多 →

Reduce任务启动时会挂起并监测8000端口，等待远程调试。 在IDE上，选择MapReduce任务的实现类，通过配置远程调试信息，执行Debug。 设置断点，双击蓝框区域设置或取消断点。 配置远程调试信息，“右键->Debug As->Debug Configurations

查看更多 →

数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下： 大规模并行计算

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

setReducerClass(IntSumReducerV1.class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类，Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(IntSumReducerV1

查看更多 →

ceManager是一个全新的资源管理系统，而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 父主题： MapReduce

查看更多 →

中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口 类名 接口名 描述 org.apache.hadoop.mapreduce.Job public void setCombinerClass(Class<

查看更多 →

中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。 表2 Combiner设置接口 类名 接口名 描述 org.apache.hadoop.mapreduce.Job public void setCombinerClass(Class<

查看更多 →

Hive基于MapReduce提交任务和基于Tez提交任务流程图 Hive on MapReduce任务中包含多个MapReduce任务，每个任务都会将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez任务仅在一个任

查看更多 →

在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 问题 安全模式下，为什么在缓存中找不到HDFS_DELEGATION_TOKEN？ 回答 在MapReduce中，默认情况下，任务完成之后，HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务中再次使用HDFS_DELEG

查看更多 →