MapReduce接口介绍 MapReduce Java API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

在OpenTSDB示例工程根目录，执行mvn install编译。 在Opentsdb示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects

查看更多 →

xml”层目录下，打开cmd命令行窗口，执行mvn install编译。 在2中打开的cmd命令行窗口中，执行mvn eclipse:eclipse创建Eclipse工程。 设置Eclipse开发环境。 1.在Eclipse的菜单栏中，选择“Window > Preferences”。 弹出“Preferences”窗口。

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

在Hive示例工程根目录，执行mvn install编译。 在Hive示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects

查看更多 →

JDK。 若使用IBM JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。

查看更多 →

在Presto示例工程根目录，执行mvn install编译。 在Presto示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects

查看更多 →

在Storm示例工程根目录，执行mvn install编译 在Storm示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects

查看更多 →

案例：建立合适的索引 现象描述 查询与销售部所有员工的信息： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

查看更多 →

案例：改建分区表 现象描述 如下简单SQL语句查询， 性能瓶颈点在dwcjk的Scan上。 优化分析 从业务层确认表数据(在cjrq字段上)有明显的日期特征，符合分区表的特征。重新规划dwcjk表的表定义：字段cjrq为分区键、天为间隔单位定义分区表dwcjk_part。修改后结果如下，性能提升近1倍。

查看更多 →

案例：建立合适的索引 现象描述 查询与销售部所有员工的信息： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

查看更多 →