更新时间:2023-12-22 GMT+08:00
怎么通过客户端设置Map/Reduce内存?
问题现象
客户端怎么设置Map/Reduce内存?
处理步骤
Hive在执行SQL语句前,可以通过set命令来设置Map/Reduce相关客户端参数。
以下为与Map/Reduce内存相关的参数:
set mapreduce.map.memory.mb=4096;// 每个Map Task需要的内存量 set mapreduce.map.java.opts=-Xmx3276M; // 每个Map Task 的JVM最大使用内存 set mapreduce.reduce.memory.mb=4096; // 每个Reduce Task需要的内存量 set mapreduce.reduce.java.opts=-Xmx3276M; // 每个Reduce Task 的JVM最大使用内存 set mapred.child.java.opts=-Xms1024M -Xmx3584M;//此参数为全局参数,既对Map和Reduce统一设置
参数设置只对当前session有效。
父主题: 使用Hive