优化Jedis连接池

方案概述

JedisPool是Jedis客户端的连接池，合理设置JedisPool资源池参数能够有效地提升Redis性能与资源利用率。本文档将对JedisPool的使用和资源池的参数配置提供详细的说明和配置建议。

JedisPool使用方法

以Jedis 5.1.3为例，其Maven依赖如下：

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>5.1.3</version>
</dependency>

Jedis使用Apache Commons-pool2对资源池进行管理，在定义JedisPool时需设置关键参数GenericObjectPoolConfig（资源池）。该参数的使用示例如下，其中的参数的说明请参见JedisPool参数说明。

GenericObjectPoolConfig jedisPoolConfig = new GenericObjectPoolConfig();
jedisPoolConfig.setMaxTotal(...);
jedisPoolConfig.setMaxIdle(...);
jedisPoolConfig.setMinIdle(...);
jedisPoolConfig.setMaxWaitMillis(...);

JedisPool的初始化方法如下：

// redisHost为Redis实例的连接IP， redisPort为Redis实例连接端口，redisPassword为Redis实例的连接密码，timeout是连接超时/读写超时。
JedisPool jedisPool = new JedisPool(jedisPoolConfig, redisHost, redisPort, timeout, redisPassword);

// 执行命令如下
Jedis jedis = null;
try {
    jedis = jedisPool.getResource();
    // 具体的命令
    jedis.set("key", "value");
} catch (Exception e) {
    logger.error(e.getMessage(), e);
} finally {
    // 在JedisPool模式下，Jedis会被归还给资源池
    if (jedis != null) 
        jedis.close();
}

JedisPool参数说明

Jedis连接是连接池中JedisPool管理的资源，JedisPool保证资源在一个可控范围内，并保障线程安全。使用合理的GenericObjectPoolConfig配置能够提升Redis的服务性能，降低资源开销。表1及表2提供了一些重要参数的说明及配置建议。

空闲Jedis对象检测由表2中的参数组合完成。

为了方便使用，Jedis提供了JedisPoolConfig，它继承了GenericObjectPoolConfig在空闲检测上的一些设置。

public class JedisPoolConfig extends GenericObjectPoolConfig {
  public JedisPoolConfig() {
    setTestWhileIdle(true);
    setMinEvictableIdleTimeMillis(60000);
    setTimeBetweenEvictionRunsMillis(30000);
    setNumTestsPerEvictionRun(-1);
    }}

可以在org.apache.commons.pool2.impl.BaseObjectPoolConfig中查看全部默认值。

关键参数配置建议

• maxTotal设置建议

  想合理设置maxTotal（最大连接数）需要考虑的因素较多，如：

  • 业务希望的Redis并发量。
  • 客户端执行命令时间。
  • Redis资源，例如Redis分片数。
  • maxTotal不能超过Redis的最大连接数（查看Redis的最大连接数请参考查看或修改实例最大连接数）。
  • 资源开销，例如虽然希望控制空闲连接，但又不希望因为连接池中频繁地释放和创建连接造成不必要的开销。

  假设一次命令时间，即borrow|return resource加上Jedis执行命令（含网络耗时）的平均耗时约为1ms，一个连接的QPS大约是1s/1ms = 1000，而业务期望的单个Redis的QPS是50000（业务总的QPS/Redis分片个数），那么理论上需要的资源池大小（即MaxTotal）是50000 / 1000 = 50。

  但事实上在理论值基础上，还要预留一些资源，所以maxTotal可以比理论值大一些。这个值不是越大越好，一方面连接太多会占用客户端和服务端资源，另一方面对于Redis这种高QPS的服务器，如果出现大命令的阻塞，即使设置再大的资源池也无济于事。

常见报错

• 资源不足

  下面两种情况均属于无法从资源池获取到资源。此类异常的原因不一定是资源池不够大，请参见关键参数设置建议中的分析。建议从网络、资源池参数设置、资源池监控（如果对JMX监控）、代码（例如没执行jedis.close()）、慢查询、DNS等方面进行排查。

  1. 超时：

     redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
     …Caused by: java.util.NoSuchElementException: Timeout waiting for idle object
     at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject

  2. blockWhenExhausted为false时，资源池用尽后不会等待资源释放：

     redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
     …Caused by: java.util.NoSuchElementException: Pool exhausted
     at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject

• 预热JedisPool

  由于一些原因（如超时时间设置较小等），项目在启动成功后可能会出现超时。JedisPool定义最大资源数、最小空闲资源数时，不会在连接池中创建Jedis连接。初次使用时，池中没有资源使用则会先新建一个new Jedis，使用后再放入资源池，该过程会有一定的时间开销，所以建议在定义JedisPool后，以最小空闲数量为基准对JedisPool进行预热，示例如下：

  List<Jedis> minIdleJedisList = new ArrayList<Jedis>(jedisPoolConfig.getMinIdle());
  for (int i = 0; i < jedisPoolConfig.getMinIdle(); i++) {
      Jedis jedis = null;
      try {
          jedis = pool.getResource();
          minIdleJedisList.add(jedis);
          jedis.ping();
      } catch (Exception e) {
          logger.error(e.getMessage(), e);
      } finally {
      }
  }
  for (int i = 0; i < jedisPoolConfig.getMinIdle(); i++) {
      Jedis jedis = null;
      try {
          jedis = minIdleJedisList.get(i);
          jedis.close();
      } catch (Exception e) {
          logger.error(e.getMessage(), e);
      } finally {
      
      }
  }