更新时间:2024-08-13 GMT+08:00

9.0.x版本说明(云原生3.0)

【V9.0.3版本发布时间】2024年2月

【V9.0.2版本发布时间】:2023年11月

9.0.3版本

新增功能

表1 9.0.3版本新增功能

场景

特性

描述

参考文档

湖仓一体

支持可读写外表

支持可读写外表,同一张外表可读可写。

-

外表查询性能提升

支持in/not in等谓词下推,增强分区剪枝能力。

-

支持复杂类型map/struct/array,支持bytea/blob类型。

支持复杂类型map/struct/array,支持bytea/blob类型。

-

外表导出支持并行

外表导出支持并行(需打开enable_insert_ft_dop,默认关闭),并行导出会消耗更多的CPU和内存资源。

-

支持insert overwrite

支持全表和单分区的insert overwrite。

INSERT

支持读取HiveMetaStore统计信息

External Schema表支持读取HiveMetaStore统计信息。

-

湖仓一体

新增orc/parquet文件解析函数read_foreign_table_file。

新增orc/parquet文件解析函数read_foreign_table_file。

-

存算分离

异步读优化

优化异步读的效果。

-

存算分离表数据导入支持并行

OBS存算分离表数据导入支持并行(需打开enable_insert_dop,默认关闭),并行导出会消耗更多的CPU和内存资源。

-

OBS存算分离表支持insert overwrite

OBS存算分离表支持insert overwrite

INSERT

本地disk cache支持冷热设置

本地disk cache支持冷热设置,不同分区可配置不同的缓存策略。

-

引擎增强

列存支持jsonb/json类型

列存支持jsonb/json类型。

-

9.0.2版本

新增功能

表2 9.0.2版本新增功能

场景

特性

描述

参考文档

湖仓一体

一键湖仓

通过create external schema直接对接HiveMetaStore元数据,避免复杂的create foreign table操作。

-

外表analyze支持并行

通过enable_parallel_analyze参数控制,默认打开,显著提升analyze统计信息收集的速度。

注:外表不具备auto analyze能力,建议导数之后手动做analyze收集统计信息。

-

外表支持parquet/orc格式读写

支持覆盖写、追加写,支持多级分区读写。

CREATE FOREIGN TABLE (SQL on OBS or Hadoop)

disk cache加速外表读

外表支持使用本地disk cache进行读加速。

-

外表支持datamasking,支持行级访问控制

外表支持datamasking,支持行级访问控制

-

存算分离

计算、存储分离

列存表通过指定COLVERSION=3.0创建为OBS存算分离表,用户数据存储在OBS存储,按需收费。

CREATE TABLE

OBS存算分离表数据支持异步读、异步写

OBS存算分离表数据支持异步读、异步写。

-

OBS存算分离表支持并行analyze

OBS存算分离表支持并行analyze,通过GUC参数enable_parallel_analyze控制,默认打开。

-

备份恢复

OBS存算分离表只支持全量备份恢复。

-

支持弹性VW

弹性VW(Virtual Warehouse,逻辑集群)支持读写加速,弹性VW启动固定耗时12min,与系统当前的节点规模、对象数、数据量无关,可通过增加弹性VW提升系统的读写能力、并发能力、资源隔离能力。

定时增删DWS 3.0逻辑集群

支持弹性扩容和经典扩容

弹性扩容不会对OBS上的数据进行重分布,经典扩容会重分布所有数据,系统会根据table_buckets/总dn数的值是否超出[min_table_buckets_per_dn, max_table_buckets_per_dn]区间,自动决定采用何种扩容方式。

扩容对系统的影响

新增OBS监控视图

新增OBS监控视图PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS。

-

新增磁盘缓存视图

新增磁盘缓存视图PGXC_DISK_CACHE_STATS、PGXC_DISK_CACHE_ALL_STATS。

-

残留文件清理

新增残留文件检测、清理函数pgxc_scan_residualfiles、pgxc_rm_scan_residualfiles_archive

-

性能优化

优化sort内存排序性能

优化sort内存排序性能。

-

【行为变更】

  1. 不支持全库vacuum full/analyze/cluster,语法不会报错,但实际不会执行,只支持单表vacuum full/analyze/cluster。
  2. OBS存算分离表,不支持delta表,enable_delta=on不会报错,但是delta表不生效。
  3. 只支持扩容,不支持缩容;扩容期间,当前正在扩容的表只支持查询。
  4. 调整默认采样率为万分之一,default_statistics_target = -0.01。