JDBC分片并发能力操作指导

按表分区进行分片

• 技术实现原理

  按表分区进行分片是基于数据库表的分区特性实现的。以 MySQL 为例，通过查询INFORMATION_SCHEMA.PARTITIONS表，获取表的分区信息。具体 SQL 语句如下：

  SELECT partition_name AS PARTITION_NAME_KEY,
        subpartition_name AS SUBPARTITION_NAME_KEY
  FROM information_schema.partitions 
  WHERE table_schema = ?   
  AND table_name = ?;

  根据查询结果，获取表的分区名称和子分区名称。针对每个分区拼接查询 SQL 的分区条件，分别读取每个分区的数据。

  SELECT * FROM database.table PARTITION(#{partion value})

• 优势

  高效性：直接利用数据库自身的分区机制，减少数据扫描范围，提高数据读取效率。

  灵活性：支持多种分区策略（如范围分区、列表分区、哈希分区等），可根据业务需求灵活选择。

• 适用场景

  读取表为分区表类型。

• 支持的数据源

  Oracle、MySQL、Doris、PostgreSQL

根据主键排序的动态分片以

• 技术实现原理

  动态分片通过主键字段进行排序，然后根据排序结果将数据划分为多个片段。具体实现方式是：

  1. 查询主键字段的最大值和最小值。
  2. 根据主键字段的值范围，结合分片数量，动态计算每个分片的数据范围。
  3. 使用 ORDER BY 主键字段，结合分片范围条件，生成分片查询 SQL。

  例如，对于一个主键为 id的表，可以按以下方式分片：

  SELECT * FROM table_name WHERE id >= ? AND id < ? ORDER BY id;

• 优势

  分片均匀：通过主键排序，能够更均匀地分配数据到各个分片，避免数据倾斜。

  高效性：充分利用主键索引，快速定位数据边界，提高数据处理效率。

• 适用场景

  读取表为主键表的场景。

• 支持的数据源

  PostgreSQL、SQLServer、DWS、HANA、DM、MySQL、GBASE8A、ClickHouse

通过 MaxMin 值分割的范围值分片

• 技术实现原理

  范围值分片通过确定数据表中某个字段（通常是数值型或日期型字段）的最大值（Max）和最小值（Min），然后将数据按照一定的范围划分成多个片段。具体步骤如下：

  1. 查询字段的最大值和最小值。

     SELECT MAX(column_name) AS max_value, MIN(column_name) AS min_value FROM table_name;

  2. 根据最大值和最小值，结合分片数量，计算每个分片的范围。
  3. 生成分片查询 SQL，例如

     SELECT * FROM table_name WHERE column_name >= ? AND column_name < ?;

• 优势

  简单高效：适用于数据分布相对均匀的字段，能够快速划分数据范围。

  通用性：支持所有类型的数据源，适用范围广泛。

• 劣势

  当选择分片字段的数据不均匀时，会出现数据倾斜的情况，导致少数线程分配多数数据，影响性能。

• 适用场景

  表中包含数据分布较均匀的字段时可以选择。

• 支持的数据源

  所有JDBC数据源。

总结