更新时间:2024-07-24 GMT+08:00
提升HBase连续Put数据场景性能
操作场景
对大批量、连续put的场景,配置下面的两个参数为“false”时能大量提升性能。
- “hbase.regionserver.wal.durable.sync”
- “hbase.regionserver.hfile.durable.sync”
当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。
本章节适用于MRS 3.x及之后版本。
操作步骤
参数入口:
在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。
参数 |
描述 |
配置值 |
---|---|---|
hbase.wal.hsync |
设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。若将该参数设置为true,则性能将受到影响,原因是每个WAL的编辑都会被hadoop fsync同步到磁盘上。 |
false |
hbase.hfile.hsync |
设置是否启用Hfile耐久性以将数据持久化到磁盘。若将该参数设置为true,则性能将受到影响,原因是每个Hfile写入时都会被hadoop fsync同步到磁盘上。 |
false |
父主题: HBase性能调优