9.0.x版本说明(云原生3.0)

湖仓一体

支持可读写外表

支持可读写外表，同一张外表可读可写。

-

外表查询性能提升

支持in/not in等谓词下推，增强分区剪枝能力。

-

支持复杂类型map/struct/array，支持bytea/blob类型。

支持复杂类型map/struct/array，支持bytea/blob类型。

-

外表导出支持并行

外表导出支持并行（需打开enable_insert_ft_dop，默认关闭），并行导出会消耗更多的CPU和内存资源。

-

支持insert overwrite

支持全表和单分区的insert overwrite。

INSERT

支持读取HiveMetaStore统计信息

External Schema表支持读取HiveMetaStore统计信息。

-

湖仓一体

新增orc/parquet文件解析函数read_foreign_table_file。

新增orc/parquet文件解析函数read_foreign_table_file。

-

存算分离

异步读优化

优化异步读的效果。

-

存算分离表数据导入支持并行

OBS存算分离表数据导入支持并行（需打开enable_insert_dop，默认关闭），并行导出会消耗更多的CPU和内存资源。

-

OBS存算分离表支持insert overwrite

OBS存算分离表支持insert overwrite

INSERT

本地disk cache支持冷热设置

本地disk cache支持冷热设置，不同分区可配置不同的缓存策略。

-

引擎增强

列存支持jsonb/json类型

列存支持jsonb/json类型。

-

湖仓一体

一键湖仓

通过create external schema直接对接HiveMetaStore元数据，避免复杂的create foreign table操作。

-

外表analyze支持并行

通过enable_parallel_analyze参数控制，默认打开，显著提升analyze统计信息收集的速度。

注：外表不具备auto analyze能力，建议导数之后手动做analyze收集统计信息。

-

外表支持parquet/orc格式读写

支持覆盖写、追加写，支持多级分区读写。

CREATE FOREIGN TABLE (SQL on OBS or Hadoop)

disk cache加速外表读

外表支持使用本地disk cache进行读加速。

-

外表支持datamasking，支持行级访问控制

外表支持datamasking，支持行级访问控制

-

存算分离

计算、存储分离

列存表通过指定COLVERSION=3.0创建为OBS存算分离表，用户数据存储在OBS存储，按需收费。

CREATE TABLE

OBS存算分离表数据支持异步读、异步写

OBS存算分离表数据支持异步读、异步写。

-

OBS存算分离表支持并行analyze

OBS存算分离表支持并行analyze，通过GUC参数enable_parallel_analyze控制，默认打开。

-

备份恢复

OBS存算分离表只支持全量备份恢复。

-

支持弹性VW

弹性VW（Virtual Warehouse，逻辑集群）支持读写加速，弹性VW启动固定耗时12min，与系统当前的节点规模、对象数、数据量无关，可通过增加弹性VW提升系统的读写能力、并发能力、资源隔离能力。

定时增删DWS 3.0逻辑集群

支持弹性扩容和经典扩容

弹性扩容不会对OBS上的数据进行重分布，经典扩容会重分布所有数据，系统会根据table_buckets/总dn数的值是否超出[min_table_buckets_per_dn, max_table_buckets_per_dn]区间，自动决定采用何种扩容方式。

扩容对系统的影响

新增OBS监控视图

新增OBS监控视图PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS。

-

新增磁盘缓存视图

新增磁盘缓存视图PGXC_DISK_CACHE_STATS、PGXC_DISK_CACHE_ALL_STATS。

-

残留文件清理

新增残留文件检测、清理函数pgxc_scan_residualfiles、pgxc_rm_scan_residualfiles_archive

-

性能优化

优化sort内存排序性能

优化sort内存排序性能。

-