# 9.1.0.x版本说明 ![](https://support.huaweicloud.com/bulletin-dws/public_sys-resources/note_3.0-zh-cn.png) 以下描述的Beta特性，表示该功能受限商用，使用时请联系技术支持。 #### 9.1.0.227补丁（2026年8月） 该版本为补丁版本，主要修复以下问题： 表19.1.0.227解决问题列表 | 序号 | 解决问题 | 问题原因 | 问题出现版本 | |:---|:---|:---|:---| | 1 | MERGE INTO中的INSERT和UPDATE支持注释 | 老版本MERGE INTO语法中的INSERT和UPDATE不支持注释。 | 8.2.1.258 | | 2 | PG_NAMESPACE系统表里存在临时表所属schema的记录，此类schema以pg_toast_temp_xxx命名 | 由于某种原因导致pg_toast_temp_xxx残留在系统表pg_namespace中，这些记录只会占用少量空间，不会影响业务运行。 残留的判断方法：正常业务场景下，pg_toast_temp_xxx与pg_temp_xxx应同时存在；异常情况下，若pg_toast_temp_xxx残留而对应的pg_temp_xxx已不存在，即当前问题场景。 | 8.2.1.x | | 3 | 存算分离模式下，disk cache过大导致集群只读 | 存算分离模式下，disk cache的磁盘使用率风险阈值是硬编码的，当系统磁盘使用率接近只读阈值时，disk cache仍持续增长，无法提前停止，可能导致集群进入只读模式。 | - | | 4 | GDS导出叠加CN Retry的场景下，偶现无法生成GDS数据文件的问题 | 导出任务报错后触发CN Retry机制重新下发导出作业。此时，如果之前的异步清理报错时的残留文件动作与新任务提交时生成新文件的动作存在交叉的窗口，由于时序的问题会导致新生成的文件被清理。 | 8.2.1.x | | 5 | gs_clean支持恢复指定xid的功能 | 老版本gs_clean不支持按指定xid进行两阶段清理。 | - | | 6 | 重分布报错：The size of cu is larger than 1GB, please lower the GUC check_cu_size_threshold and retry to insert | 批量导入数据时，极端场景下单行数据写入后，导致CU超过大小（1GB）上限，触发报错。 | 8.2.1.258 | | 7 | 升级之后建表失败：ALTER permission denied to user "xxx" for relation "xxx" | 使用CREATE TABLE IF NOT EXISTS创建已存在的同名表时，系统会校验该表的ALTER权限，但该场景下实际无需进行ALTER权限校验，导致权限不足的用户报错。 | 8.1.1升8.1.3.338 | | 8 | 物化视图和SQL on Hudi的调度任务报错"数据库连接失败" | 当集群安全配置文件pg_hba.conf中未配置local all all trust时，物化视图和SQL on Hudi的调度任务报错。 | - | | 9 | 执行升级过程中，删除系统类型（DROP TYPE）时报错提示存在依赖对象，导致升级失败 | 视图列存在对类型（type）和排序规则（collation）的依赖关系。升级过程中删除类型时，因依赖未清理导致报错，升级中断。 | 9.1.0.223 | | 10 | 列存V3表CU数量达到上限后执行COUNT查询存在结果不一致的问题 | 列存V3表的CU编号索引采用的数据类型范围不足，当CU编号超过该类型最大值时会发生溢出，导致COUNT查询无法正确统计超出范围的CU数据，查询结果偏少。 VACUUM FULL后CU重建，编号重置，COUNT结果恢复正常。因此VACUUM FULL前后COUNT查询结果不一致。 | 9.1.1.x | | 11 | 执行表重分布时报错"role xxx was concurrently dropped"，导致重分布失败 | 重分布过程中创建新表时会记录表的所属角色依赖关系，并校验表的所属角色是否存在，当该角色已被删除，则校验不通过，导致报错中断。 | 9.1.0.218 | | 12 | 查看产品版本号仅支持登录控制台，不便用户快速获取版本信息 | 新增GUC参数product_version，支持在数据库中查询当前产品版本号。 | - | | 13 | 8.1.3版本集群升级至9.1.0后，页面毫秒级查询耗时劣化至1\~5秒 | hang检测功能在检测到线程hang时会产生告警，告警处理过程中会创建子进程，占用系统资源，影响查询性能。 | 9.1.0.226 | | 14 | 用户业务中创建的Binlog表长时间未使用，残留信息未被自动清理 | 长时间未使用的Binlog表的残留信息未被及时清理，导致事务ID无法正常推进，系统仅对单个数据库重复执行自动清理，其他数据库的delta表无法合并。在Binlog表创建后长期未使用且事务操作频繁的场景下，该问题更容易触发。 | - | #### 9.1.0.226补丁（2026年5月） 该版本为补丁版本，主要修复以下问题： 表29.1.0.226补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | 无 | - | - | - | | 解决问题 | 关闭autovacuum后，autovacuum线程一直阻塞在同一个数据库。 | autovacuum关闭后仅清理系统表，但当前业务中很多预置表不是系统表，或者业务库中业务表不会进行自动清理，导致数据库无法推进frozenxid，影响性能。 | 8.1.3.x | 升级到9.1.0.226及以上版本 | | 解决问题 | text格式外表支持使用NULL填充不存在字段。 | DWS对接HDFS外表，在表结构变化时，text/csv格式下，外表参数fill_missing_fields不支持多列缺失。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | HDFS只写外表导出文件权限不足，其他Hadoop客户无法访问。 | 当前HDFS用户写出的ORC文件，其他用户没有读写权限。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 多表关联查询场景下，因projection_pushdown导致报错 | 多表关联查询场景下，对于带有别名的输出，projection_pushdown优化可能导致列顺序错乱。 | 9.1.0.218 | 升级到9.1.0.226及以上版本 | | 解决问题 | 修复CVE-2024-10976漏洞 | 对行安全策略表的追踪不完整，导致重新使用的查询能够查看或更改非预期的行。这意味着，在使用特定角色的情况下，可能会应用不正确的策略，即一个查询最初在一个角色下计划，结果却在其他角色下执行。这可能会允许用户执行被禁止的读取和修改操作。 | 8.1.3.x\~8.2.1.x | 升级到9.1.0.226及以上版本 | | 解决问题 | Hive表配置容灾后，在容灾环境下对DWS数据库执行HDFS外表导出失败。 | Hive在配置容灾后，会生成.hive_protected目录以及表级目录下的.snapshot。系统通过该目录判断是否配置过hive容灾，在导出HDFS外表，覆盖并删除原文件时，跳过.hive_protected目录和.snapshot目录。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 重启集群后，INSERT单条列存数据插入操作耗时异常。 | 重启集群后列存表首次插入数据时，需要扫描全量的索引数据确定故障前最大的cuid，用于保证新插入的数据和之前的老数据不会在内部唯一标识上重叠，由于索引数据可能会很大，全量扫描比较慢导致执行耗时异常。 | 9.1.0.200 | 升级到9.1.0.226及以上版本 | | 解决问题 | 集群升级过程中DN上审计日志参数audit_enabled被打开。 | 扩容期间，审计日志会在DN上进行记录影响性能。 | 9.1.0.212 | 升级到9.1.0.226及以上版本 | | 解决问题 | 修复ORC读写时区问题。 | ORC外表写timestamp类型时，文件时区元数据为GMT，与hive/spark引擎的UTC有差异。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | MySQL兼容模式date类型与timestamp类型比较出现强转，导致无法分区剪枝。 | behavior_compat_options新装默认开启enable_cast_hashjoin，导致join条件上被添加强制类型转换后无法应用分区剪枝，查询性能劣化。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 灾备集群中的备集群不能进行单节点实例修复。 | 备集群只读，容灾情况下只能只读，不能进行节点修复。 | 8.2.1.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 新增Java UDF适配Java17的功能 | 当前gs_extend_library调用内核中udstools.py文件，该文件调用管控面udstool.jar实现部署jar包，功能上受到管控面java版本影响，因此解耦到内核。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | DWS导出到分布式文件系统（hdfs）enable_insert_foreign_table_dop参数未生效。 | HDFS导出enable_insert_foreign_table_dop参数未生效。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 增量备份期间节点内存溢出。 | 之前版本为了保证集群正常运行，事务提交回滚期间或者非执行SQL的内存申请不会受到动态内存上限的限制；但当前版本roach等工具却可以绕开这个限制使得其相关业务内存申请完全不受控，导致动态内存暴涨，最终节点内存溢出。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 升级到9.1.0.x后，输出列支持json类型后，对应语句向量化计划性能劣化。 | 9.1.0集群版本支持json向量化后，原有的行存json开启强制向量化后导致计划走了向量化，可能产生劣化等问题。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 开启enable_topk_optimization参数后，当order by排序后limit值超过INT_MAX / 2（即1073741823）时存在异常。 | 列存表开启enable_topk_optimization参数时表示使用turbo的排序算法，但sort语句中limit超过INT_MAX / 2 时，此时排序算法为普通列存的向量化排序算法，导致排序算法出现异常。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 从低版本升级到9.1.0及以上集群版本，操作系统参数vm.watermark_scale_factor会设置成1000。 | 升级9.1.0及以上集群版本的场景下，操作系统参数vm.watermark_scale_factor需保持前向兼容。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 增加GUC参数设置disk cache A0队列的大小。 | 增加GUC参数disk_cache_a0_size用于设置disk cache A0队列的大小。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | | 解决问题 | 使用turbo引擎时读取orc外表，orc文件列数发生变化的场景存在内存异常问题。 | 使用turbo引擎读取orc外表，orc文件的列数发生变化时内存异常。 | 9.1.0.x | 升级到9.1.0.226及以上版本 | #### 9.1.0.223补丁（2025年10月） 该版本为补丁版本，主要修复以下问题： 表39.1.0.223补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | 无 | - | - | - | | 解决问题 | 升级到9.1.0.222后，出现系统表查询慢，未生成indexscan + nestloop计划。 | 生成bitmapscan优化时，没有标记为btree索引。 | 8.2.1 | 升级到9.1.0.223及以上版本 | | 解决问题 | DFX增强，提供视图支持查询任务消费情况。 | - 修改系统函数pgxc_get_binlog_consume_progress()：支持对enable_binlog的表调用。 - 修改系统函数pgxc_get_binlog_slots()，获取各个目标表的各个槽位， 包含槽位最后一次register的时间戳（去DN查pg_binlog_slots并返回）。 - 新增系统函数pgxc_binlog_clear_target_slot(relName, slotName)，清理目标表的指定槽位。 | 9.1.0 | 升级到9.1.0.223及以上版本 | | 解决问题 | 集群状态异常告警上报。 | 由于HStore表没有建PCK索引，所有异步排序的操作均频繁进行了无效的GTM连接，造成GTM连接数过大，导致告警。 | 9.1.0.218 | 升级到9.1.0.223及以上版本 | #### 9.1.0.222补丁（2025年9月） 该版本为补丁版本，主要修复以下问题： 表49.1.0.222补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | 无 | - | - | - | | 解决问题 | 备份后文件残留。 | 在备份和容灾任务并行运行时，由于CBM回收机制未适配延迟DDL的执行情况，可能导致延迟DDL范围内的CBM文件被提前回收，从而引发部分延迟删除的文件残留问题。 | 8.2.1 | 升级到9.1.0.222及以上版本 | | 解决问题 | 终止残留语句会话失败。 | 在处理长跳转流程时，系统屏蔽了一些信号，可能导致某些操作无法及时终止。 | 9.1.0.201 | 升级到9.1.0.222及以上版本 | | 解决问题 | 自动分区表没有自动创建分区。 | RENAME TABLE to 重命名操作语法未正确适配更新调度任务。 | 8.1.3 | 升级到9.1.0.222及以上版本 | | 解决问题 | 集群增量备份失败。 | 全量build拷贝xlog时未适配cbm track位置，导致cbm文件不连续，增量备份会失败。 | 9.1.0 | 升级到9.1.0.222及以上版本 | | 解决问题 | 视图上case_insensitive状态残留，导致查询结果集异常。 | 视图解耦打开，CREATE OR REPLACE VIEW时未检查attcollation字段是否相同，视图在pg_attribute中相关字段的collate case_insensitive信息未消除，导致查询结果异常。 | 8.2.1 | 升级到9.1.0.222及以上版本 | | 解决问题 | 执行业务报错failed to execute query。 | explain plan命令未适配SPI导致数据输出器被误清空，后续使用SPI的语句都失败。 | 8.2.1 | 升级到9.1.0.222及以上版本 | | 解决问题 | GDS作业报错。 | 系统每次清理最久未使用的日期格式数据缓存时，更新缓存新鲜度数据时溢出被重置为0，导致刚进入的缓存被错误清理。 | 8.2.1 | 升级到9.1.0.222及以上版本 | | 解决问题 | 物化视图能力增强。 | 物化视图查询重写与周边交互未正确适配。 | 9.1.0 | 升级到9.1.0.222及以上版本 | #### 9.1.0.220补丁（2025年7月） 该版本为受限补丁版本，主要修复以下问题： 表59.1.0.220补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | 无 | - | - | - | | 解决问题 | 删除status关键字。 | 9.1.0.220后status不再作为DWS关键字。 | 9.1.0.220以前版本 | 升级到9.1.0.220及以上版本 | | 解决问题 | 使用UNUSABLE LOCAL INDEXES的场景下，清理历史分区索引后无法进行UPSERT操作。 | UPSERT语句在优化器里检查所有分区的索引是否有效，有一个UNUSABLE则报错。 | 9.1.0.220以前版本 | 升级到9.1.0.220及以上版本 | | 解决问题 | 审计日志线程启动失败导致会话连接堆积。 | 审计日志线程没有启动时，将线程状态g_auditThreadActive设置成活跃，审计日志的无锁队列写满时，业务SQL就会等待审计日志写入无锁队列而产生阻塞。 | 9.1.0.220以前版本 | 升级到9.1.0.220及以上版本 | | 解决问题 | 细粒度备份期间drop临时表报错could not open relation with OID。 | 1. 根据现场堆栈分析，该volatile表具有对应的toast表和toast索引。在结束session时，系统会尝试对volatile表、toast表和toast索引进行DROP操作。 2. 在执行DROP INDEX过程中，会在trace表中记录GsStatOpTraceAddTuple操作，再利用index的oid做relation_open操作。 3. 但GsStatOpTraceAddTuple的调用发生在DeleteAttributeTuples(indexId)及DeleteRelationTuple之前，因此主线操作本身不会出现问题。 但是DeleteAttributeTuples(indexId)之后，所有这个index的相关信息已被删除，导致后续操作失败，从而造成volatile表的DROP操作无法完成。 | 9.1.0 | 升级到9.1.0.220及以上版本 | | 解决问题 | schema级容灾恢复失败，报解压元数据失败错误。 | 细粒度备份时会在编号最小的cn节点上生成extra_dump文件夹（用于存放database和role等dump信息）。 在做异构恢复的时候，master节点可能与备份的master节点不一致，且不为cn编号最小节点，这就需要下载两遍metadata文件，确保dump文件和extra_dump文件均会被正常下载。 - 对于OBS备份，metadata会下载到恢复指定的--metadata-destination目录。 - 对于XBSA接口的备份，metadata会下载到恢复指定的--metadata-destination目录的父目录。 因为对于OBS备份来说，metadata多一级cluster-unique-id的目录，所以在下载metadata后，查找压缩包需要按media-type区分。 | 8.2.1版本 | 升级到9.1.0.220及以上版本 | #### 9.1.0.218补丁（2025年5月） 该版本为补丁版本，主要修复以下问题： 表69.1.0.218补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | 无 | - | - | - | | 解决问题 | 开启LLVM后，高并发场景存在写锁问题。 | 开启LLVM后，高并发场景下，会因为内存的频繁申请释放触发OS内存回收，回收时会持有mmap写锁，阻塞其他线程的内存申请，影响内存的访问性能。 | 9.1.0.218以前版本 | 升级到9.1.0.218及以上版本 | | 解决问题 | Hstore表/时序表日落。 | 时序表、列存delta、历史HStore表自9.1.0.218及以上集群版本中功能日落，不再演进，统一用Hstore_opt表替代。 | - | 升级到9.1.0.218及以上版本 | | 解决问题 | presort执行报错：invalid memory alloc request size | runtimefilter预排序过程中错误获取了其他列的ID，导致后续获取的attlen错误，最终造成读数据长度时选择函数错误。 当错误获取了列属性长度(attlen=-1)时，系统误将GBK编码的中文字符用单字节处理函数读取，导致计算出负数字符长度值，内存分配失败 。 | 9.1.0.210 | 升级到9.1.0.218及以上版本 | | 解决问题 | 开启enable_hstore_binlog_table参数后，长时间运行业务，出现备机pg_csnlog文件堆积过大，执行清理后空间未回收。 | binlog为了阻塞csnlog回收，需要做至少一次vacuum操作， 这个过程中主机上pg_binlog_slots会收集oldestxmin，但是备机不会执行，所以回收csnlog的oldestxmin一直阻塞在0，造成ckp不回收csnlog。 | 9.1.0.201 | 升级到9.1.0.218及以上版本 | | 解决问题 | ANALYZE内存估算偏差大，导致CCN异常排队。 | 列定义宽度超过1024，实际存储数据很短或空数据时，ANALYZE内存估算宽度比较大。 | 8.1.3 | 升级到9.1.0.218及以上版本 | | 解决问题 | 批量执行upsert后，binlog源表和目标表不同步。 | 全列upsert场景在删除旧的binlog后提前return没有记录新的binlog，导致源表与目标表不同步。 | 9.1.0.218以前版本 | 升级到9.1.0.218及以上版本 | | 解决问题 | 修复容灾集群switchover后，关闭原主集群autovacuum及autoanalyze参数的问题。 | 主集群autovacuum原本是on，执行switchover后，被修改为off，当再次执行switchover切回后，发现autovacuum，autoanalyze参数值不符预期。 | 9.1.0 | 升级到9.1.0.218及以上版本 | | 解决问题 | 修复升级场景下enable_orc_cache参数自动修改的问题。 | 低版本集群升级到9.1.0.1及以上集群版本后，enable_orc_cache参数由on会设置为off。 | 9.1.0.210 | 升级到9.1.0.218及以上版本 | | 解决问题 | 升级后报错：stream plan check failed | value partition计划变化后，windowagg生成value partition计划上下节点不一致。 | 8.2.1.225 | 升级到9.1.0.218及以上版本 | | 解决问题 | 容灾切换后，主集群业务报错：xlog flush request | 容灾集群只有主CN进行备份，全量/增量备份类型（BackupType）会记录在备份集metadata文件，备集群恢复时会读取metadata文件信息来判断是否需要清理CN目录（全量恢复时清理）。由于主备集群CN编号可能存在不一致情况，依赖编号查找可能会无法准确读取BackupType信息，导致全量恢复场景遗漏必要的文件清理，残留文件引发业务运行报错。 | 9.1.0 | 升级到9.1.0.218及以上版本 | | 解决问题 | Turbo问题加固。 | 未考虑部分非常规场景，（例如多union all及数据类型不一致），查询出现异常。 | 9.1.0 | 升级到9.1.0.218及以上版本 | #### 9.1.0.215补丁（2025年3月） 该版本为补丁版本，主要修复以下问题： 表79.1.0.215补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | 无。 | - | - | - | | 解决问题 | 智能运维调度触发下盘。 | 智能运维调度器在查询表大小时，通过pgxc_parallel_query函数下发到每个DN执行，而DN查询的结果集包括列存表的cudesc、delta等辅助表，而分区也有子表，且每个分区又有cudesc、delta，导致最终结果集较大。 DN将这些查询结果统一汇总到CN时，结果集太大触发下盘操作，导致查询慢或者磁盘容量冲高等现象。 | 8.3.0.100 | 升级到9.1.0.215及以上版本 | | 解决问题 | 使用存算分离V3表并关闭DiskCache场景下，偶现进程异常退出。 | 使用存算分离V3表场景下，如果关闭DiskCache，业务线程在读取OBS对象时申请空间失败的情况下，会触发事务回滚从而概率性导致异常。 | 9.1.0 | 升级到9.1.0.215及以上版本 | | 解决问题 | 节点亚健康(Hang)场景下，CM组件无法下发重启集群命令。 | cm_ctl启动集群分为两个阶段： 1. 检查各个节点状态，需要pssh连接到各个节点进行检查。 2. 删除启停文件，需要pssh连接到各个节点进行删除。 SSH命令中参数解析不正确，导致节点故障时检查单个故障节点耗时超过300s，如果有多个节点同时故障则耗时会成倍增加，引发命令无法下发。 | 8.1.3 | 升级到9.1.0.215及以上版本 | | 解决问题 | 使用数据湖场景下，如果并发量超高(3000+)，会引发CN与DN建连变慢从而导致整体性能变慢。 | 当前1个文件只会分配给一个DN。但是执行计划中，CN还是会和所有DN都建立连接。在数据湖的场景下，需要支撑单集群3000+并发，这块的开销就会很大。 | 9.1.0 | 升级到9.1.0.215及以上版本 | | 解决问题 | 使用数据湖场景下，如果写入过程字段超长时，会偶现DN进程异常。 | 数据湖场景下，写入过程中出现字段超长此时会报错，在事务回滚过程中，会调用清理相关逻辑，此时由于部分内存已经被提前释放，导致函数报错，触发DN进程异常退出。 | 9.1.0 | 升级到9.1.0.215及以上版本 | | 解决问题 | 安全漏洞(SQL注入漏洞(CVE-2025-1094))修复。 | PostgreSQL漏洞公告 SQL注入漏洞(CVE-2025-1094)，识别产品是否涉及该漏洞。 | 9.1.0 | 升级到9.1.0.215及以上版本 | | 解决问题 | 在行列混合场景，NestLoop算子+Stream算子的场景下偶现查询异常的问题。 | Nestloop算子下有stream算子，需要先执行inner侧的物化算子。在行存和列存混合场景，在物化算子上有Row Adapter算子，此时造成未执行物化算子，引发异常操作。 | 8.3.0.108 | 升级到9.1.0.215及以上版本 | | 解决问题 | 通信线程中空闲期检查DN连接造成数据库偶现慢问题。 | 通信线程(libcomm send proxy线程)在空闲期会遍历所有与其他DN的连接进行检查，单次检查消耗1ms，在大集群上遍历100+连接，可能耗时100ms以上，会阻塞下一个报文的发送，此时在实时性要求比较高的业务场景下会导致业务查询偶现慢。 | 9.1.0 | 升级到9.1.0.215及以上版本 | #### 9.1.0.213补丁（2025年2月） 该版本为补丁版本，主要修复以下问题： 表89.1.0.213补丁新增功能/解决问题列表 | 类别 | 功能或问题描述 | 问题原因 | 问题出现版本 | 修复建议 | |:---|:---|:---|:---|:---| | 新增功能 | Hive数据迁移到DWS后，在MySQL兼容模式下，支持配置空串是否自动转换为数字0。 | - | - | - | | 解决问题 | JDBC连接时，INSERT OVERWRITE INTO涉及external外表时，出现临时表残留。 | JDBC连接时，访问过程中有多个阶段（parser、bind、exec），在parser阶段对SQL进行rewrite，rewrite过程中会创建INSERT OVERWRITE临时表；如果涉及external外表在exec阶段会重新rewrite，即重新创建临时表，且未将parser生成的临时表删除，即临时表创建两次，仅删除后创建的临时表，导致临时表残留。 | 9.1.0.211 | 升级到9.1.0.213及以上版本 | | 解决问题 | 业务收到100%倾斜告警，倾斜内容为OVERWRITE临时表倾斜。 | INSERT OVERWRITE和修改分布键时，会建立一张临时普通表，将源表数据插入到临时表中，如果出现了倾斜，会告警一张临时表的表名，导致无法分析。 | 9.1.0.211 | 升级到9.1.0.213及以上版本 | | 解决问题 | Turbo引擎下，由于数据精度对齐导致的结果集问题。 | 当部分DN scan基表数据0行时，其向CN返回的结果集为NULL(默认小数点位数为0)，其与有数据DN返回的sum结果进行合并时，误判断对齐数据精度，导致使用int64类型存储最终sum结果，出现结果集非预期问题。 | 9.1.0.212 | 升级到9.1.0.213及以上版本 | | 解决问题 | 使用external外表检查分区路径时，没有判断分区路径是否为空的问题。 | hdfs server external外表检查分区路径是否与分区字段定义对应时，没有判断分区路径是否为空。 | 9.1.0.211 | 升级到9.1.0.213及以上版本 | | 解决问题 | 使用external外表从Hive MetaStore获取分区信息时，未对空指针返回值进行异常处理的问题 | 从Hive MetaStore获取的分区信息partition values为空指针。 | 9.1.0.212 | 升级到9.1.0.213及以上版本 | | 解决问题 | convert_tz函数在某种场景下时区转换结果不符合预期。 | convert_tz函数处理MySQL兼容性时，未考虑特殊时区写法导致结果非预期。 | 9.1.0.210 | 升级到9.1.0.213及以上版本 | | 解决问题 | 打开LLVM场景下，substr结果集错误问题。 | ASCII编码库可以导入gbk数据，走LLVM后，LLVM底层进行substr计算时，未判断gbk数据列substr(a, start_index, len)调用时，gbk为双字节字符，判断字符宽度时，复用了utf-8的字符宽度逻辑，导致gbk字符宽度计算为4（实际上应该为2），子串的长度计算错误。 | 8.1.3.x | 升级到9.1.0.213及以上版本 | | 解决问题 | Turbo引擎下，inlist转hash特性时对字符串类型处理不当导致的结果集问题。 | uniq hash表在Turbo引擎下内部进行字符串attlen16-\>attlen-1时，获取字符串长度错误的使用了strlen接口；hstoreopt delta表中出现attlen从-1变至定长场景需要提前进行batch转换。 | 9.1.0.212 | 升级到9.1.0.213及以上版本 | #### 9.1.0.212补丁（2025年1月） 该版本为补丁版本，主要修复已知问题。 【实时数仓】 1. 修复date类型查询下推在MySQL兼容模式下的结果集问题。 2. 修复limit为null或者all时，结果集错误问题。 3. 修复统计信息错误重置，导致auto vacuum无法触发，影响空间无法及时回收的问题。 4. 修复物化视图刷新和DDL并发的死锁问题。 5. 修复冷热表扩容重分布异常后，手工删除临时表导致误清理原表数据的问题。 6. 修复冷热表扩容的本地磁盘空间上涨问题。 【湖仓一体】 1. 外表访问OBS，支持路径中带有特殊字符';'。 2. 优化parquet外表查询的任务分配，提升磁盘缓存命中率。 【备份恢复】 1. 修复备份恢复可能残留中间状态文件，占用磁盘空间的问题。 2. 修复弹性VW存在的情况下，备份失败问题。 3. 备份恢复支持冷热表，备份恢复时间会变长。 【生态兼容】 1. 修复PostGIS插件可能存在的创建失败问题。 【运维提升】 1. 修复SQL监控指标采集不完整问题。 2. 修复从备内存泄露问题。 3. 修复智能运维未按时启动的问题。 4. 修复drop database失败残留，导致调度器无法正常调度的问题。 5. 修复高并发下，通信内存占用过高的问题。 6. 修复异常情况下，GTM上残留sequence导致的性能问题。 【行为变更】 1. 为避免复杂SQL执行可能报错，升级或新装集群时会关闭谓词列analyze特性。 2. 表定义包含sequence列的场景下，执行drop table操作时，如果与GTM的网络连接有问题，上一个版本会报warning，drop table可执行成功，但可能会导致GTM上sequence残留。新版本drop table会报错，重试后drop table可正常执行成功。由于DWS支持在事务块中执行drop table，如果drop table语句执行成功，但事务后续回滚，会存在sequence在GTM已经删除，表在CN上仍然存在的问题，需再次主动drop table，否则该表在后续使用时，会报sequence不存在的错误。 3. truncate和select发生加锁冲突时，支持truncate主动终止select操作，该特性默认关闭。开启后，上一个版本被终止的执行select的会话会报错但连接不会关闭；新版本下，执行select的会话会主动关闭，需业务主动重连。 #### 9.1.0.211补丁（2024年12月13日） 该版本为补丁版本，主要修复已知问题。 #### 9.1.0.210版本（2024年11月25日） 表99.1.0.210版本新增功能 | 功能分类 | 功能 | 功能描述 | 参考文档 | |:---|:---|:---|:---| | 存算分离 | 缓存预热 | 支持通过使用explain warmup进行缓存预热，可以把数据预热到本地磁盘缓存的冷端或者热端。 | [磁盘缓存主动预热调优](https://support.huaweicloud.com/devg-dws/dws_04_1410.html) [使用DWS磁盘缓存（disk cache）功能提升查询性能最佳实践](https://support.huaweicloud.com/bestpractice-dws/dws_05_0034.html) | | 存算分离 | 弹性VW功能增强 | 更灵活的业务分流方式，支持以CN粒度配置业务分流到主VW或者弹性VW。 新增GUC参数**workload_vw_strategy**，设置CN的作业路由方式。 | - | | 存算分离 | 支持insert并行 | 存算分离表支持insert并行，提升数据加载性能。 | - | | 存算分离 | 存算分离表支持回收站 | 可以对drop table/partition, truncate table/partition等误操作进行快速闪回。 - 新增GUC参数**enable_recyclebin** 控制回收站的实时打开和关闭，新增GUC参数**recyclebin_retention_time**设置回收站对象保留的时间，超过该时间的回收站对象将被自动清理。 - 新增PURGE、TIMECAPSULE语法。 - DROP TABLE语法新增PURGE、KEEP ttl HOUR参数。 | **该特性目前为商用Beta特性，如需使用，请联系技术支持。** [DROP TABLE](https://support.huaweicloud.com/sqlreference-dws/dws_06_0208.html) | | 存算分离 | 冷热表增强 | 冷热表支持使用磁盘缓存、异步I/O进行性能加速。 | - | | 实时数仓 | 提升翻页性能 | limit...offset翻页场景性能大幅提升；inlist场景性能大幅提升。 | - | | 实时数仓 | 支持Binlog | 正式商用Binlog特性。 | [实时数仓Binlog](https://support.huaweicloud.com/devg-dws/dws_04_1210.html) | | 实时数仓 | 自动分区增强 | 自动分区支持整型和变长类型的时间列。创建分区表时，在CREATE TABLE语法中新增time_format，用于指定时间列为INT4/INT8/VARCHAR/TEXT类型时的时间格式。 | [CREATE TABLE](https://support.huaweicloud.com/sqlreference-dws/dws_06_0177.html) [使用DWS分区自动管理功能降低电商和物联网行业数据分区维护成本](https://support.huaweicloud.com/bestpractice-dws/dws_05_0120.html) | | 湖仓一体 | 优化外表 | parquet/orc读写新增对zstd压缩格式的支持。 | - | | 湖仓一体 | 优化外表 | Create table like支持使用external schema中的表作为like源表。 | - | | 湖仓一体 | 优化外表 | 外表支持并行导出。 | - | | 高可用 | 备份恢复增强 | 存算分离表和冷热表支持增量备份恢复。 | - | | 高可用 | 备份恢复增强 | 通过并行拷贝优化存算分离场景的备份性能。 | - | | 生态兼容 | MySQL兼容增强 | 兼容MySQL的replace into语法，interval时间类型。 | - | | 生态兼容 | 生态 | pg_get_tabledef导出支持字段展示comment。 | - | | 运维\&稳定性提升 | 存储优化 | 磁盘使用率高时，支持配置从备数据转储到OBS。 | - | | 运维\&稳定性提升 | 只读优化 | 当数据库即将发生只读时，拦截一些发生下盘的语句和产生新表和新物理文件的语句，以此快速回收磁盘空间，保证其它语句执行。 | - | | 运维\&稳定性提升 | 审计日志优化 | 支持审计日志转储到OBS。 | - | | 运维\&稳定性提升 | 锁优化 | 新增轻量级锁视图pgxc_lwlocks。 | [pgxc_lwlocks](https://support.huaweicloud.com/devg-dws/dws_04_1412.html) | | 运维\&稳定性提升 | 锁优化 | 常规锁视图新增锁获取和等待时间戳。 | - | | 运维\&稳定性提升 | 锁优化 | 全局死锁检测功能默认打开。 | - | | 运维\&稳定性提升 | 锁优化 | 新增vacuum full与select之间的让锁功能。 | - | | 运维\&稳定性提升 | 锁优化 | gs_view_invalid增加失效时间，辅助运维人员清理无效对象。 | [gs_view_invalid](https://support.huaweicloud.com/devg-dws/dws_04_0717.html) | | 规格约束 | 规格约束 | 1. 最大支持256个VW，每个VW 最大支持1024个DN。建议VW不超过32个，每个VW不超过128个DN。 2. OBS存算分离表不支持容灾，不支持细粒度备份恢复。 | - | | 行为变更 | 行为变更 | 升级开启max_process_memory自适应功能，主备均衡模式下，增加DN可用内存。 | - | | 行为变更 | 行为变更 | 扩容数据重分布默认开启数据一致性校验，扩容时间会增加10%。 | - | | 行为变更 | 行为变更 | 新建Hstore_opt表，默认打开turbo引擎，压缩级别默认为middle。 | - | | 行为变更 | 行为变更 | 存算分离表OBS路径默认显示为相对路径。 | - | | 行为变更 | 行为变更 | 使用磁盘缓存(diskcache)必须同时打开异步I/O参数。 | - | | 行为变更 | 行为变更 | 列存表的索引清理时间间隔从1小时调小为10分钟，可以更快速地清理占用的索引空间。 | - | | 行为变更 | 行为变更 | CREATE TABLE和ALTER TABLE不支持将有on update表达式的列设置为分布列。 | - | | 行为变更 | 行为变更 | Parquet数据查询，读取INT96格式保存的Timestamp数据时不再做8小时修正。 | - | | 行为变更 | 行为变更 | [max_stream_pool](https://support.huaweicloud.com/devg-dws/dws_04_0891.html)用于控制stream线程池缓存的线程数量，默认值由65525调整至1024，避免空闲线程内存占用过大。 | - | | 行为变更 | 行为变更 | 不再支持逻辑复制功能，相关接口调用会报错。 | - | #### 9.1.0.105补丁（2024年10月23日） 该版本为补丁版本，主要修复已知问题。 #### 9.1.0.102补丁（2024年9月25日） 该版本为补丁版本，主要修复已知问题。 **【升级收编】** 1. 支持9.0.3版本升级到9.1.0系列。 **【修复已知问题】** 1. 存算分离版本支持alter database xxx rename to yyy。 2. 修复存算分离表 \\d+ 空间size显示错误问题。 3. 修复备份恢复之后，异步排序未运行的问题。 4. 修复bitmap index列删除后，无法使用Create Table Like语法的问题。 5. 修复Turbo引擎在Group By场景下，hash算法冲突导致的性能回退问题。 6. 调度器对于失败任务的处理行为和8.3.0版本保持一致。 7. 修复故障场景下，pg_stat_object空间膨胀问题。 8. 修复8.3.0升级到9.1.0，DataArts Studio下发的Vacuum Full作业报错问题。 9. 修复JSON字段计算CPU和内存消耗高问题。 **【功能增强】** 1. ORC外表支持zstd压缩格式。 2. GIS新增支持st_asmvtgeom/st_asmvt/st_squaregrid函数。 #### 9.1.0.100版本（2024年8月12日） **【弹性架构** **】** 1. 架构升级：基于华为云对象存储服务OBS，推出存算分离架构3.0，计算与存储分层弹性伸缩，存储按需收费，降本增效；计算支持多VW（Virtual Warehouse，逻辑集群，以下简称VW）部署，业务隔离性更好，解决业务间的资源争抢问题。 2. 推出弹性VW特性，弹性VW完全无状态，支持读写加速，灵活应对并发处理能力不足、业务波峰波谷不均衡、数据加载和数据分析资源争抢等问题，详情参见[弹性增删逻辑集群](https://support.huaweicloud.com/mgtg-dws/dws_01_7250.html)。 3. 增删DN节点，支持弹性扩容和经典扩容，弹性扩容不会对OBS上的数据进行重分布，经典扩容会重分布所有数据，系统会根据bucket总数和DN数目，自动决定采用何种扩容方式。 4. 存算分离架构（DWS 3.0）通过磁盘缓存和I/O异步读写提升性能，在磁盘缓存全命中时，持平存算一体架构（DWS 2.0）。 图1存算分离架构 ![](https://support.huaweicloud.com/bulletin-dws/figure/zh-cn_image_0000002031447112.png "点击放大") **【实时处理** **】** 1. 推出向量化Turbo加速引擎，TPC-H 1000x性能翻倍。 2. 推出hstore升级版本Hstore_opt，压缩比更高，配合Turbo引擎，空间比列存节省40%。 3. 支持Flink直连DN入库，批量入库场景，性能线性提升，详情参见[Flink实时消费Binlog](https://support.huaweicloud.com/devg-dws/dws_04_1212.html)。 4. 支持Binlog（Beta特性），配合Flink可实现增量计算，详情参见[订阅实时数仓Binlog](https://support.huaweicloud.com/devg-dws/dws_04_1211.html)。 5. 全列更新性能显著提升，资源消耗显著下降。 6. 支持物化视图(Beta特性)，详情参见[CREATE MATERIALIZED VIEW](https://support.huaweicloud.com/sqlreference-dws/dws_06_0357.html)。 7. VARCHAR/TEXT列支持bitmap index，bloom filter，提升粗过滤效果，需建表时显式指定，详情参见[CREATE TABLE](https://support.huaweicloud.com/sqlreference-dws/dws_06_0177.html)。 8. 支持runtime filter特性，提升topK和join场景性能，详情参见GUC参数[runtime_filter_type、runtime_filter_ratio](https://support.huaweicloud.com/devg-dws/dws_04_0912.html)。 9. 支持异步排序，提升PCK列的min-max粗过滤效果。 10. 大幅提升IN场景的性能。 11. Analyze支持分区统计信息增量合并（分区表只收集变化分区的统计信息，复用历史分区统计信息），支持只采集谓词列的统计信息，提升Analyze执行效率，详情参见： - [CREATE TABLE语法新增incremental_analyze](https://support.huaweicloud.com/sqlreference-dws/dws_06_0177.html)，用于控制分区表是否启用增量Analyze模式。 - GUC参数[enable_analyze_partition](https://support.huaweicloud.com/devg-dws/dws_04_0912.html)，控制是否支持对表的某个分区收集统计信息。 - GUC参数[enable_expr_skew_optimization](https://support.huaweicloud.com/devg-dws/dws_04_0909.html)，控制是否在倾斜优化策略中使用表达式统计信息。 - [ANALYZE \| ANALYSE](https://support.huaweicloud.com/sqlreference-dws/dws_06_0245.html)。 12. Create index/reindex支持并行。 13. 新增函数pgxc_get_cstore_dirty_ratio，用于获取目标表的CU、Delta以及CUDesc的脏页率(仅支持Hstore_opt)。 **【融合统一** **】** 1. 一键湖仓：通过create external schema直接对接Hive MetaStore元数据，避免复杂的create foreign table操作，降低维护代价，详情参见[跨集群访问Hive MetaStore元数据](https://support.huaweicloud.com/bestpractice-dws/dws_05_0013.html)。 2. 支持parquet/orc格式读写，支持覆盖写、追加写，支持多级分区读写。 3. 支持hudi格式读。 4. 外表Analyze支持并行执行，显著提升统计信息收集的精度和速度；外表不具备AutoAnalyze能力，建议导入数据之后手动做Analyze收集统计信息。 5. 外表支持使用本地disk cache进行读加速。 6. 外表支持in/not in等谓词下推，增强分区剪枝能力。 7. 外表支持复杂类型map/struct/array，支持bytea/blob类型。 8. 外表支持数据脱敏和行级访问控制功能。 9. GDS导出外表支持容错参数compatible_illegal_char。 10. 新增orc/parquet文件解析函数read_foreign_table_file，便于问题定界。 **【高可用** **】** 1. 极大提升unlogged table故障恢复速度。 2. 备份集支持跨版本恢复，细粒度表级恢复支持低版本集群（8.1.3及以后版本）生成的备份集。 3. 细粒度表级恢复支持恢复至异构集群（节点数、DN数、CN数均可不一致）。 4. 细粒度恢复支持权限、注释：集群级物理细粒度备份，schema级物理细粒度备份新增支持备份权限与注释，表级恢复以及schema级灾难恢复支持恢复权限与注释。 **【空间优化** **】** 1. 列存支持jsonb/json类型，历史版本Json类型只能创建为行存表，新版本可以创建为列存表。 2. 冷热表支持分区级index unusable，对于冷分区通过该特性节省本地索引空间。 3. 推出hstore升级版本Hstore_opt，压缩比更高，配合Turbo引擎，空间比列存节省40%。 **【运维\&稳定性提升** **】** 1. 查询过滤器增强，支持按SQL特征、类型、来源、处理数据量进行拦截，详情参见：[CREATE BLOCK RULE](https://support.huaweicloud.com/sqlreference-dws/dws_06_0292.html)。 2. 空闲连接自动回收，及时释放内存资源，详情参见GUC参数[syscache_clean_policy](https://support.huaweicloud.com/devg-dws/dws_04_0933.html)，用于设置DN空闲连接内存及数量清理策略。 3. 新增函数gs_switch_respool，支持动态切换queryid/threadid使用的资源池，可以动态调整SQL使用的资源，详情参见[gs_switch_respool](https://support.huaweicloud.com/sqlreference-dws/dws_06_0063.html)。 4. 新增视图pg_sequences，显示当前用户具有访问权限的序列的属性信息。 5. 新增函数查询指定共享内存下内存申请的所有chunk信息，详情参见： - [pg_shared_chunk_detail](https://support.huaweicloud.com/sqlreference-dws/dws_06_0379.html) - [pv_session_chunk_detail](https://support.huaweicloud.com/sqlreference-dws/dws_06_0379.html) - [pg_shared_chunk_dump](https://support.huaweicloud.com/sqlreference-dws/dws_06_0379.html) - [pv_session_chunk_dump](https://support.huaweicloud.com/sqlreference-dws/dws_06_0379.html) 6. 新增函数pgxc_query_resource_info，显示指定query_id对应的SQL语句在所有DN上的资源使用信息，详情参见[pgxc_query_resource_info](https://support.huaweicloud.com/sqlreference-dws/dws_06_0063.html)。 7. 新增函数pgxc_stat_get_last_data_access_timestamp，返回目标表最近一次的访问时间，方便业务清理长期不访问的表，详情参见[pgxc_stat_get_last_data_access_timestamp](https://support.huaweicloud.com/sqlreference-dws/dws_06_0065.html)。 8. SQL Hint支持更多的Hint设置，可以更准确的控制执行计划的生成，详情参见[配置参数的hint](https://support.huaweicloud.com/devg-dws/dws_04_0463.html)。 9. TopSQL增加语法解析和磁盘缓存相关的性能字段，方便定位性能问题，详情参见[实时TopSQL](https://support.huaweicloud.com/devg-dws/dws_04_0397.html)。 10. 预置数据脱敏管理员，具有创建、修改、删除脱敏策略的权限。 11. 审计日志支持记录级联删除的对象。 12. 审计日志支持转储到OBS对象存储。 **【生态兼容** **】** 1. create schema/create index/create sequence 支持 if not exists。 2. Merge into支持指定分区，详情见[MERGE INTO](https://support.huaweicloud.com/sqlreference-dws/dws_06_0235.html)。 3. TD兼容模式下支持比较字符串忽略尾部空格。 4. 支持通过GUC参数配置，控制varchar(n)的n是否自动转换为nvarchar2。 5. PostGIS 升级到3.2.2版本。 **【规格\&约束** **】** 1. 最大支持256个VW，每个VW最多1024个DN，建议VW不超过32个，每个VW不超过128个DN。 2. OBS存算分离表不支持容灾，只支持全量备份恢复。 **【行为变更】** 1. 新增"status"关键字，应避免将"status"作为数据库对象名称使用。如果修改字段别名为status时业务报错，可以通过在业务语句中增加AS来规避，如下举例： ``` SELECT c1, min(c2) status,c3 from t1; //报错SQL ERROR: syntax error at or near "status" SELECT c1,min(c2) AS status,c3 from t1; //规避问题的SQL，增加AS ``` 2. 不支持全库vacuum full/analyze/cluster，语法不会报错，但实际不会执行，只支持单表vacuum full/analyze/cluster。 3. OBS存算分离表，不支持delta表，enable_delta=on不会报错，但是delta表功能不生效。如果有delta表诉求，可以使用Hstore_opt表替代。 4. 默认开启numa绑核，可动态关闭（enable_numa_bind）。 5. 8.3.0 Turbo表中的numeric(38)升级到9.1.0版本会修改为numeric(39)，显示宽度不受影响，版本回退也不会回滚。 6. 由于支持存算分离，DWS 3.0默认EVS存储空间比DWS 2.0少一半（客户买1T EVS存储，3.0是主备各500G，2.0是主备各1T），如果是DWS 2.0迁移到DWS 3.0，对EVS存储仍然有强诉求，那么DWS 3.0买EVS存储时要买DWS 2.0 2倍的空间。