gds服务 更多内容
  • 关于并行导入

    。本章节也将主要介绍使用GDS的并行导入方法。关于另外两种方式可以参考示例2:Shared策略导入和示例3:Private策略导入。 表1 导入策略对比 导入策略 导入前的准备 支持导入的数据格式 Normal 在数据服务器上部署GDS。支持多个GDS服务并发导入。 CS V、TEXT、FIXED。

    来自:帮助中心

    查看更多 →

  • CREATE FOREIGN TABLE (GDS导入导出)

    FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;

    来自:帮助中心

    查看更多 →

  • 安装配置和启动GDS

    安装配置和启动GDS GDS GaussDB 提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。根据导出作业的相关负载,检查GDS所在服务器与GaussDB集群的各物理集群相连通,并且上有充足的内存、句柄、磁盘空间等系统资源。详细内容请参见安装配置和启动GDS。 父主题:

    来自:帮助中心

    查看更多 →

  • GDS导入数据时是否支持使用公网/外网导入?

    GDS导入数据时是否支持使用公网/外网导入? 不支持。GDS导入数据的原理是,GDS服务器和GaussDB(DWS)在内网互通的前提下,使用集群内每个DN去并行连接GDS服务器,以达到大容量并行导入的目的,因此必须确保GDS服务器与集群在同一个网络内。如果GDS为线下服务器,则需

    来自:帮助中心

    查看更多 →

  • 示例1:Normal策略导入

    的属主为gds_user。以下以IP为192.168.0.90的数据服务器为例,进行操作。 chown -R gds_user:gdsgrp /input_data 以gds_user用户登录每台数据服务器上分别启动GDS。 其中GDS安装路径为“/opt/bin/gds”,数据

    来自:帮助中心

    查看更多 →

  • 示例

    属主为gds_user。 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上分别启动GDS。 其中GDS安装路径为“/opt/bin/gds”,导出数据文件存放在“/output_data/”目录下,数据服务器所在IP为192

    来自:帮助中心

    查看更多 →

  • GDS导入失败后,磁盘占用空间增大

    GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。

    来自:帮助中心

    查看更多 →

  • 基于GDS的跨集群互联互通

    规划部署GDS服务器,确保所有的GDS服务器可以和上面配置的两个集群所有节点网络连通,即GDS服务器的安全组入方向要放通对应的GDS端口(例如5000)和DWS端口(默认8000)。部署GDS请参考安装配置和启动GDS。 启动GDS时,可指定任意目录作为数据中转的目录,例如/opt,启动命令示例如下: /opt/gds/bin/gds

    来自:帮助中心

    查看更多 →

  • ALTER FOREIGN TABLE(GDS导入导出)

    ALTER FOREIGN TABLE(GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET |

    来自:帮助中心

    查看更多 →

  • ALTER FOREIGN TABLE (GDS导入导出)

    FOREIGN TABLE的参数说明。 value option的新值。 示例 创建外表customer_ft,用来以TEXT格式导入GDS服务器10.10.123.234上的数据: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

    来自:帮助中心

    查看更多 →

  • CREATE FOREIGN TABLE (GDS导入导出)

    FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;

    来自:帮助中心

    查看更多 →

  • 基于GDS的集群互联互通

    化为一对GDS不落地导入导出作业,分别在目标集群、源集群上执行,形成高效实时的数据中转通路,实现数据迁移同步。执行时,可以选择在目标集群或源集群上发起,分别对应“拉”、“推”两种方式。 图1 拉取方式 ① 远程连接源集群,创建GDS只写外表,发起导出作业。 ② 创建GDS只读外表,发起导入作业。

    来自:帮助中心

    查看更多 →

  • 导入远端DWS数据源最佳实践

    ut_data/”。 -p ip:port:GDS监听IP和监听端口。配置为GDS所在的ECS的内网IP,可与DWS通讯,本例为192.168.0.90:5000。 -H address_string:允许哪些主机连接和使用GDS服务。参数需为CIDR格式。本例设置为DWS的内网IP所在的网段即可。

    来自:帮助中心

    查看更多 →

  • 服务端工具

    服务端工具 gs_dump gs_dumpall gs_restore gds_check gds_install gds_uninstall gds_ctl

    来自:帮助中心

    查看更多 →

  • 教程指引

    本教程旨在演示使用GDS(Gauss Data Service)工具将远端服务器上的数据导入GaussDB中的办法,帮助您学习如何通过GDS进行数据导入的方法。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和Gau

    来自:帮助中心

    查看更多 →

  • 数据导入/导出

    0x00” GDS导入/导出类问题 创建GDS外表失败,提示不支持ROUNDROBIN 通过 CDM 将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out

    来自:帮助中心

    查看更多 →

  • 基于GDS实现两套DWS集群间的数据互联互通实践

    gds_user:gdsgrp /opt/gds/bin chown -R gds_user:gdsgrp /opt 切换到gds用户。 1 su - gds_user 执行以下命令进入gds目录,并执行环境变量。 1 2 cd /opt/gds/bin source gds_env 执行以下命令

    来自:帮助中心

    查看更多 →

  • 导入最佳实践

    任务并发执行导入,多个导入任务使用同一GDS时可以使用-t参数打开GDS多线程并发执行导入。GDS建议挂载在不同物理盘以及不同网卡上,避免物理IO以及网络可能出现的瓶颈。 为了确保作业的正常运行,请注意根据GDS所承担的负载和并发度,在GDS所在的物理环境上配置充足的系统资源,其

    来自:帮助中心

    查看更多 →

  • 并行导入

    不存在”。 默认值:off gds_debug_mod 参数说明:为了增强对Gauss Data Service (以下简称GDS)相关问题的分析定位能力,可以通过此参数选择是否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

    来自:帮助中心

    查看更多 →

  • 规划导出数据

    规划导出数据 操作场景 使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (

    来自:帮助中心

    查看更多 →

  • 执行导入数据

    。相关案例请参见多线程导入。 在资源许可的情况下,多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入。 对于高并发的GDS导入场景,为了保持GDS和DN间的数据连接稳定,可以将GDS服务器环境和DN所在环境的TCP Keepalive检测时间

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了