计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

并行导入

更新时间:2024-06-03 GMT+08:00

GaussDB提供了并行导入功能,以快速、高效地完成大量数据导入。介绍GaussDB并行导入的相关参数。

raise_errors_if_no_files

参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB将抛出“文件不存在的”错误。

该参数属于SUSET类型参数,请参考表1中对应设置方法进行设置。

取值范围:布尔型

  • TRUE表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
  • FALSE表示导入时不区分“导入文件记录数为空”和“导入文件不存在”。

默认值:FALSE

gds_debug_mod

参数说明:为了增强对Gauss Data Service (以下简称GDS)相关问题的分析定位能力,可以通过此参数选择是否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互的对端以及其他交互相关的细节信息,方便记录Gaussdb端状态机的状态跳转,以及目前所处的状态信息。此参数打开会输出额外日志,增加日志IO开销,进而影响性能和日志的信息有效性,因此请仅在定位GDS问题时开启。

该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。

取值范围

  • on表示开启GDS debug功能。
  • off表示不开启GDS debug功能。

默认值:off

safe_data_path

参数说明:设置初始用户以外的路径前缀限制,目前包括copy和高级包路径限制。

该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

取值范围:字符串(小于4096个字符)

默认值:NULL

注意:
  • 如果safe_data_path目录下存在软链接文件,则会按软链接实际指向的文件路径进行处理,实际路径如果不在safe_data_path下会报错处理。
  • 如果safe_data_path目录下存在硬链接文件,则可以正常使用。为安全起见,请谨慎使用硬链接文件,切勿在safe_data_path目录下创建指向目录以外的硬链接文件,并确保safe_data_path目录权限最小化。

enable_copy_server_files

参数说明:是否开启copy服务器端文件的权限。

该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

取值范围:布尔型

  • on表示开启copy服务端文件的权限。
  • off表示不开启copy服务端文件的权限。

默认值:off

须知:

当参数enable_copy_server_files关闭时,只允许初始用户执行COPY FROM FILENAME或COPY TO FILENAME命令,当参数enable_copy_server_files打开,允许具有SYSADMIN权限的用户或继承了内置角色gs_role_copy_files权限的用户执行。

support_binary_copy_version

参数说明:COPY FROM的BINARY模式下导出数据时,是否包含当前数据库服务端的编码信息。

参数类型:字符串

参数单位:

取值范围:''、header_encoding。

默认值:header_encoding

设置方式:该参数属于USERSET类型参数,请参见表1对应设置方法进行设置。

设置建议:无特殊情况时建议配置为默认取值,仅做前向兼容时需另行配置为空。

表1 兼容性配置项

兼容性配置项

兼容性行为控制

header_encoding

使用COPY FROM的BINARY模式进行导出时,二进制文件头中包含当前数据库服务端的编码信息。

空值

做前向兼容处理时配置,以原二进制格式进行导出。

copy_special_character_version

参数说明:控制COPY导入导出数据时对非法编码的字符处理的相关表现。

参数类型:字符串

参数单位:

取值范围:''、no_error、per_byte。

默认值:''

设置方式:该参数属于USERSET类型参数,请参见表1中对应设置方法进行设置。

使用gsql连接数据库,使用set方式设置时不区分大小写,使用gs_guc设置时仅能设置小写。

设置建议:

表2 兼容性配置项

兼容性配置项

兼容性行为控制

no_error

控制使用COPY导入数据文件时,当文件编码与服务端编码相同时,对数据文件中不满足编码信息的数据进行容错处理,按照原编码插入表中。

per_byte

控制使用COPY导出文本格式的数据文件时,对文件编码为GBK或ZHS16GBK文件的处理方式。

设置per_byte后,一次导出一个字节数据,否则一次导出两个字节数据(GBK编码下,一个字符占两个字节)。

空值

参数默认配置,不影响任何功能使用,做前向兼容处理。即COPY存在非法编码时报错。

须知:
  • 为保证导入表中数据的合法性,COPY中需要对数据编码的合法性进行校验。当开启此参数后,会屏蔽非法校验操作并导致字段内出现非法字符,请酌情考虑开启此参数。
  • 当前屏蔽数据编码校验仅在服务端编码与数据编码保持一致时生效,未指定数据编码时,数据编码默认为客户端编码。
  • 如需记录非法编码字段,建议使用COPY语法中的log errors参数或log errors data参数。
  • 二进制模式下copy_special_character_version='no_error'时,仅对TEXT、CHAR、VARCHAR、NVARCHAR2、CLOB类型的字段生效。
  • 此参数仅在UTF-8、GB18030、GB18030_2022、ZHS16GBK、LATIN1字符集数据库下使用生效。
  • 客户端编码与服务端编码都为GBK或ZHS16GBK,且数据库内存在非法编码的数据时,如果不设置copy_special_character_version为per_byte,导出的数据文件中可能会存在预期外的数据。
  • 设置copy_special_character_version值为no_error时无法与COPY内COMPATIABLE_ILLEGAL_CHARS参数同时使用。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容