更新时间:2022-12-14 GMT+08:00
Flume数据采集慢
问题现象
Flume启动后,Flume数据采集慢。
原因分析
- Flume堆内存设置不合理,导致Flume进程一直处于频繁GC。查看Flume运行日志:
2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS: 3849339k->3843458K(3853568K), 2.5817610 secs] 4153654K->3843458K(4160256K), [CMS Perm : 27335K->27335K(45592K),2.5820080 SECS] [Times: user=2.63, sys0.00, real=2.59 secs]
- 用户业务配置的Spooldir source的deletePolicy策略是立即删除(immediate)。
解决办法
- 适当调大堆内存(xmx)的值。
- 将Spooldir source的deletePolicy策略更改为永不删除(never)。
父主题: 使用Flume