MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

通过客户端提交任务，客户端返回内存溢出的报错结果： 原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件

查看更多 →

=20，分片无法完全分配。5个数据节点，需要分配30个分片，每个节点应最少分配6个分片，防止某数据节点故障脱离，那最少应设置每个节点允许分配8个分片。 再执行命令POST _cluster/reroute?retry_failed=true手动进行分片分配，等待索引分片分配完成，集群状态变为可用。

查看更多 →

直播录制支持的ts分片大小是多少？ 直播录制支持的ts分片大小为30秒。 父主题： 直播录制

查看更多 →

您可以使用推荐方式连接副本集实例，合理设置数据分片以充分利用分片性能，通过多种途径提升DDS使用性能。 提升DDS使用性能 如何连接副本集实例以实现读写分离和高可用 如何规避mongos路由缓存缺陷 设置数据分片以充分利用分片性能 如何通过SQL优化来提升DDS性能 创建用户并授权使用DDS只读权限

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

MRS 支持哪些组件？ HDFS显示磁盘空间不足怎么办？ 如何构建MRS样例工程？ 如何访问MRS集群上托管的开源组件Web页面？ 开启Kerberos认证的集群怎么使用？ 如何登录MRS集群节点？ 如何访问MRS Manager？ 如何更新MRS客户端？ 更多 远程登录 应用容器化改造介绍

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这一块Hadoop提供了大量的调优参数。 图1 Shuffle过程

查看更多 →

MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这一块Hadoop提供了大量的调优参数。 图1 Shuffle过程

查看更多 →

集群和副本集在什么情况会触发主备切换 磁盘使用率高问题排查 副本集中主备同步存在多长时间的延迟 副本集主备节点之间的数据同步方式是什么 分片内存超过90%产生告警，如何消减 DDS集群持续写入数据后查询报错怎么处理

查看更多 →

分片上传文件（API名称：uploadRiskBigFile） 功能介绍 该接口用于分片上传文件。 URL 请求方式 HTTPS地址 消息体类型 POST https://AppCube 域名 /service/ISDP__SecurityRiskBO/1.0.1/uploadRiskBigFile

查看更多 →

分片文件上传（API名称：file/uploadBigFile） 功能介绍 该接口用于大文件的分片文件上传。 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL

查看更多 →