修改Kafka Topic分区数 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的分区数。分区数只支持增加，不支持减少。 修改分区数，不会重启实例，不会影响业务。 修改Topic分区数的方法如下： 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数

查看更多 →

Kafka支持减少分区数吗？ Kafka不支持减少分区数，您可以通过删除原先的Topic，然后创建新Topic，重新设置分区数。 父主题： Topic和分区问题

查看更多 →

__name__ == '__main__': # 创建一个名为"myj"的SparkSession对象 odps = create_spark_session() odps.execute_sql=execute_sql # 执行sql # sql_str="""select

查看更多 →

为什么限制Topic的总分区数？ Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格 规格名称

查看更多 →

2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的OID列。 示例：t1_hash为一个分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的oid列。 示例1：t1_hash为一个一级分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的oid列。 示例1：t1_hash为一个分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

分区（分区子表、子分区） 分区表中实际保存数据的表，对应的entry通常保存在pg_partition中，各个子分区的parentid作为外键关联其分区母表在pg_class表中的OID列。 示例：t1_hash为一个一级分区表： gaussdb=# CREATE TABLE t1_hash

查看更多 →

Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 driverMemory 1-16 G Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 父主题： 大数据数据迁移

查看更多 →

设置大表条件，当符合大表的条件时，将自动按分区拆分迁移子任务。建议保持默认，也可根据实际需求修改。 小表规则 设置小表条件，当符合小表的条件时，自动将多个小表合并到一个迁移子任务中，提高迁移效率。建议保持默认，也可根据实际需求修改。 并发连接数 设置迁移并发数。默认为3，1≤取值范围≤10。 单文件SQL数 每批提

查看更多 →

分区（Partition） 分区用于将数据划分成不同区间，逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列，分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型，在写分区值时，都需要加双引号。

查看更多 →

分区管理 批量修改分区信息 列举分区信息 批量添加分区信息 批量删除分区信息 批量获取分区信息 列举分区值列表 列举全量分区值列表 父主题： LakeCat

查看更多 →

API版本 metadata 否 metadata object 分区的元数据信息 spec 否 spec object 分区的配置信息 表3 metadata 参数 是否必选 参数类型 描述 name 否 String 分区名称 表4 spec 参数 是否必选 参数类型 描述 hostNetwork

查看更多 →

分区查询 查询指定分区的数据。 --创建范围分区表。 gaussdb=# CREATE TABLE test_range1( id INT, info VARCHAR(20) ) PARTITION BY RANGE (id) ( PARTITION p1

查看更多 →

进行了分区，ol_d_id列是一个identifier性质的属性列，本身并不带有时间或者某一个特定维度上的区分。使用哈希分区策略来对其进行分表处理则是一个较为理想的选择。相比其他分区类型，除了预先确保分区键没有过多数据倾斜（某一、某几个值重复度高），只需要指定分区键和分区数即可创

查看更多 →

合并分区 用户可以使用合并分区的命令来将多个分区合并为一个分区。合并分区只能通过指定分区名来进行，不支持指定分区值的写法。 合并分区不能作用于哈希分区上。 执行合并分区命令会使得Global索引失效，可以通过UPDATE GLOBAL INDEX子句来同步更新Global索引，或者用户自行重建Global索引。

查看更多 →

bal索引。 删除分区时，如果该分区上带有仅属于当前分区的分类索引时，则会级联删除分类索引。 使用ALTER TABLE DROP PARTITION可以删除指定分区表的任何一个分区，这个行为可以作用在范围分区表、列表分区表上。 例如，通过指定分区名删除范围分区表range_sa

查看更多 →

分区剪枝 分区剪枝是 GaussDB 提供的一种分区表查询优化技术，数据库SQL引擎会根据查询条件，只扫描特定的部分分区。分区剪枝是自动触发的，当分区表查询条件符合剪枝场景时，会自动触发分区剪枝。根据剪枝阶段的不同，分区剪枝分为静态剪枝和动态剪枝，静态剪枝在优化器阶段进行，在生成计划

查看更多 →

间隔分区 间隔分区（Interval Partition）可以看成是范围分区的一种增强和扩展方式，相比之下间隔分区定义分区时无需为新增的每个分区指定上限和下限值，只需要确定每个分区的长度，实际插入的过程中会自动进行分区的创建和扩展。间隔分区在创建初始时必须至少指定一个范围分区，范

查看更多 →

删除分区 用户可以使用删除分区的命令来移除不需要的分区。删除分区可以通过指定分区名或者分区值来进行。 删除分区不能作用于HASH分区上。 执行删除分区命令会使得Global索引失效，可以通过UPDATE GLOBAL INDEX子句来同步更新Global索引，或者用户自行重建Global索引。

查看更多 →