更新时间:2023-03-17 GMT+08:00
提升写性能
操作场景
在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。
![](https://support.huaweicloud.com/intl/zh-cn/my-kualalumpur-1-usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
本章节适用于MRS 3.x及后续版本。
操作步骤
参数入口:
在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。
参数 |
描述 |
默认值 |
---|---|---|
dfs.datanode.drop.cache.behind.reads |
表示是否让DataNode在将缓冲区中的数据传递给客户端后自动清除缓冲区中的所有数据。 设置为true表示丢弃缓存的数据(需要在DataNode中配置)。 当同一份数据,重复读取的次数较少时,建议设置为true,使得缓存能够被其他操作使用。重复读取的次数较多时,设置为false能够提升重复读取的速度。 |
false |
dfs.client-write-packet-size |
客户端写包的大小。当HDFS Client往DataNode写数据时,将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小,可以通过各Job来指定。单位:字节。 在万兆网部署下,可适当增大该参数值,来提升传输的吞吐量。 |
262144 |
父主题: HDFS性能调优