配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称

查看更多 →

配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称

查看更多 →

MapReduce应用开发概述 MapReduce应用开发简介 MapReduce应用开发常用概念 MapReduce应用开发流程介绍 父主题： MapReduce开发指南

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

如何使用MapReduce命令 命令含义 对大数据集执行map-reduce操作。 如何启用MapReduce命令 MapReduce命令由DDS参数模板参数“security.javascriptEnabled”控制，默认值为“false”，表示mapreduce和group命

查看更多 →

MapReduce服务 MRS MRS集群属于指定安全组 MRS集群属于指定VPC MRS集群开启kerberos认证 MRS集群使用多AZ部署 MRS集群未绑定弹性公网IP MRS集群开启KMS加密 父主题： 系统内置预设策略

查看更多 →

Mapreduce应用开发规则 继承Mapper抽象类实现 在Mapreduce任务的Map阶段，会执行map()及setup()方法。 正确示例： public static class MapperClass extends Mapper<Object, Text, Text

查看更多 →

codecClass) ->“mapreduce.map.output.compress”&“mapreduce.map.output.compress.codec” setJobPriority(JobPriority prio) ->“mapreduce.job.priority”

查看更多 →

如果此列条件键没有值（-），表示此操作不支持指定条件键。 关于MapReduce服务（MRS）定义的条件键的详细信息请参见条件（Condition）。 您可以在SCP语句的Action元素中指定以下MapReduce服务（MRS）的相关操作。 表1 MapReduce服务（MRS）支持的授权项 授权项 描述

查看更多 →

Server发现在出错的时间段此实例有如下类似START_UP的打印，说明那段时间进程被停止过，后来又启动成功，提交的任务本来连接的是重启过的HiveServer实例，当这个实例被停止后，任务进程连接到另一个健康的HiveServer上导致报错。 2017-02-15 14:40:11

查看更多 →

或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题，主要涉及参数为mapreduce.map.java.opts（调整map的栈内存）和mapreduce.reduce.java.opts（调整redu

查看更多 →

如何处理SSH tunnel进程异常？ 混合云场景下，监控数据通过ssh tunnel跳板机转发至APM时，该进程异常。此时您可以通过以下方式进行处理。 使用远程登录工具登录跳板机。 执行如下命令设置免交互登录。 ssh-keygen cd /root/.ssh/ cat id_rsa

查看更多 →

返回值为辅助进程功能对象 注意事项 在辅助进程中调用，用来获取辅助进程的功能对象。 接口定义 - (instancetype)initWithGroupId:(NSString*)groupId; 父主题： 连接设备

查看更多 →

Flume服务端进程故障 问题现象 Flume运行一段时间后，Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常，重启后Manager界面提示如下信息： [2019-02-26 13:38:02]RoleInstance prepare

查看更多 →

产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。 可能原因 主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。 处理步骤 查看进程是否处于D、Z、T状态 登录 FusionInsight

查看更多 →

|sort -n |uniq -c |sort -n 执行后结果如下： 查看启动线程数最多的进程，案例中进程2346为NameNode进程，启动了5.4万线程，且持续增长。 多次打印对应进程的jstack日志，根据jstack日志信息发现，NameNode存在大量线程处于WAITING，且长期不释放。

查看更多 →

统计资产信息，账号、端口、进程等 功能介绍 资产统计信息，账号、端口、进程等 调用方法 请参见如何调用API。 URI GET /v5/{project_id}/asset/statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

ALM-45444 ClickHouse进程异常 告警解释 ClickHouse实例健康检查模块30秒检查一次，如果连续失败的次数超过配置的阈值，则触发上报告警，此时ClickHouse进程可能处于停止响应状态，无法正常执行业务。 告警属性 告警ID 告警级别 是否可自动清除 45444

查看更多 →

Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver

查看更多 →

端进行配置。 mapreduce.map.output.compress指定了Map任务输出结果可以在网络传输前被压缩。这是一个per-job的配置。 mapreduce.map.output.compress.codec指定用于压缩的编解码器。 mapreduce.map.output

查看更多 →

load和put适合在哪些场景使用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile

查看更多 →