更新时间:2022-12-14 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
提升写性能
操作场景
在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。
操作步骤
参数入口:
在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。
| 
        参数  | 
      
        描述  | 
      
        默认值  | 
     
|---|---|---|
| 
        dfs.datanode.drop.cache.behind.reads  | 
      
        表示是否让DataNode在将缓冲区中的数据传递给客户端后自动清除缓冲区中的所有数据。 设置为true表示丢弃缓存的数据(需要在DataNode中配置)。 当同一份数据,重复读取的次数较少时,建议设置为true,使得缓存能够被其他操作使用。重复读取的次数较多时,设置为false能够提升重复读取的速度。  | 
      
        false  | 
     
| 
        dfs.client-write-packet-size  | 
      
        客户端写包的大小。当HDFS Client往DataNode写数据时,将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小,可以通过各Job来指定。单位:字节。 在万兆网部署下,可适当增大该参数值,来提升传输的吞吐量。  | 
      
        262144  | 
     
   父主题: HDFS性能调优