文档首页 > > 开发指南> 配置GUC参数> 并行导入参数

并行导入参数

分享
更新时间: 2019/11/12 GMT+08:00

DWS提供了并行导入功能,以快速、高效地完成大量数据导入。介绍DWS并行导入的相关参数。

raise_errors_if_no_files

参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,DWS将抛出“文件不存在的”错误。

该参数属于SUSET类型参数,请参考表1中对应设置方法进行设置。

取值范围:布尔型

  • on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
  • off表示导入时不区分“导入文件记录数为空”和“导入文件不存在”。

默认值:off

partition_mem_batch

参数说明:为了优化对列存分区表的批量插入,在批量插入过程中会对数据进行缓存后再批量写盘。通过partition_mem_batch可指定缓存个数。该值设置过大,将消耗较多系统内存资源;设置过小,将降低系统列存分区表批量插入性能。

该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。

取值范围:1~ 65535

默认值:256

partition_max_cache_size

参数说明:为了优化对列存分区表的批量插入,在批量插入过程中会对数据进行缓存后再批量写盘。通过partition_max_cache_size可指定数据缓存区大小。该值设置过大,将消耗较多系统内存资源;设置过小,将降低列存分区表批量插入性能。

该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。

取值范围

  • 列存分区表:4096~ INT_MAX / 2,最小单位为KB。

默认值:2GB

gds_debug_mod

参数说明:为了增强对Gauss Data Service (以下简称GDS)相关问题的分析定位能力,可以通过此参数选择是否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互的对端以及其他交互相关的细节信息,方便记录Gaussdb端状态机的状态跳转,以及目前所处的状态信息。此参数打开会输出额外日志,增加日志IO开销,进而影响性能和日志的信息有效性,因此请仅在定位GDS问题时开启。

该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。

取值范围

  • on表示开启GDS debug功能。
  • off表示不开启GDS debug功能。

默认值:off

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区