中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    gds数据 更多内容
  • GAUSS-01371 -- GAUSS-01380

    解决办法:请检查gds数据节点的网络连接、网络环境、节点的系统端口是否正常。 GAUSS-01376: "Unexpected EOF on GDS connection '%s': %m" SQLSTATE: XX000 错误原因:系统内部错误。与GDS端交互数据时,发生了错误。

    来自:帮助中心

    查看更多 →

  • 基于GDS的跨集群互联互通

    基于GDS的跨集群互联互通 功能描述 在“基于Foreign Table的数据处理”的基础上,通过GDS进行数据中转,实现多个集群之间的数据同步。 使用场景 将数据从一个集群同步到另外一个集群,支持全量数据同步、过滤条件数据同步。 目前互联互通仅支持以下使用方式,除以下语句外,其他类型的语法均不支持。

    来自:帮助中心

    查看更多 →

  • PGXC_BULKLOAD_STATISTICS

    direction text 业务类型,取值包括:gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

    来自:帮助中心

    查看更多 →

  • PG_BULKLOAD_STATISTICS

    direction text 业务类型,取值包括:gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

    来自:帮助中心

    查看更多 →

  • GDS导入失败后,磁盘占用空间增大

    GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。

    来自:帮助中心

    查看更多 →

  • 并行导入

    2,最小单位为KB。 默认值:2GB gds_debug_mod 参数说明:为了增强对Gauss Data Service (以下简称GDS)相关问题的分析定位能力,可以通过此参数选择是否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

    来自:帮助中心

    查看更多 →

  • 创建GDS外表失败,提示不支持ROUNDROBIN

    原因分析 GDS外表系统内部默认以ROUNDROBIN分布方式创建,不支持在创建外表时显式添加ROUNDROBIN分布信息。 处理方法 在创建GDS外表时,去除指定的分布信息,即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题: 数据导入/导出

    来自:帮助中心

    查看更多 →

  • 数据导入/导出

    出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts

    来自:帮助中心

    查看更多 →

  • DWS的OBS外表与GDS外表支持的数据格式有什么区别?

    DWS的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、 CS V、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GDS导入导出支持的文件

    来自:帮助中心

    查看更多 →

  • 导入数据最佳实践

    数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜而造成调整成本高。详细请参见查看数据倾斜状态章节。 为了优化导入速度,建议拆分文件,使用多GDS进行并行导入。单个导入任

    来自:帮助中心

    查看更多 →

  • GaussDB(DWS)外表功能开发规范

    GaussDB (DWS)外表功能开发规范 规则4.1 GDS服务需单独使用 服务器部署 在DWS集群外 违反规范的影响: GDS如果部署在DWS集群内,会与DWS集群CN/DN节点发生资源争抢,导致双方性能同时劣化。 方案建议: GDS服务单独使用 服务器 部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。

    来自:帮助中心

    查看更多 →

  • PGXC

    direction text 业务类型,取值包括:gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

    来自:帮助中心

    查看更多 →

  • PG

    direction text 业务类型,取值包括:gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

    来自:帮助中心

    查看更多 →

  • 建表与导入TPC-H数据

    命令中的斜体部分请根据实际填写,如果数据分片存放至多个数据盘目录,需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试,需要启动以上4个GDS,如果只测试TPC-DS或TPC-H数据,请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir:保存有待导入数据数据文件所在目录。

    来自:帮助中心

    查看更多 →

  • 规划导出数据

    规划导出数据 操作场景 使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (

    来自:帮助中心

    查看更多 →

  • 导入数据

    导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 MRS 导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据

    来自:帮助中心

    查看更多 →

  • PGXC_BULKLOAD_INFO

    gds分区表较小的情况下,在一个DN获取完数据后,若其余DN未开始获取数据,将不会在其余DN获取数据,所以在gds from非分区表数据量较小的情况下,min值可能为0,表数据量大时不为0。 互联互通源集群导出非分区表时,所有DN都会被记录,且只会拿取一个DN的数据,所以min值为0。 互联互通远端集

    来自:帮助中心

    查看更多 →

  • 执行导入数据

    执行导入数据 完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件

    来自:帮助中心

    查看更多 →

  • 导入

    3.检查单行数据是否超过1GB。您可以根据实际情况手动删除该行。 level: ERROR GS_142050163 错误码: connection failure error. 解决方案:1.检查GDS进程是否崩溃。2.检查GDS启动参数-H是否正确。3.查看GDS日志,查看是否有报错信息。

    来自:帮助中心

    查看更多 →

  • 实例管理

    ,详见GDS-Kafka入库模式。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除,如果入库数据中有delete操作,则必须使用扩展字段。 购买GDS-Kafka实例 使用数据迁移功能,首先需要购买一个GDS-kaf

    来自:帮助中心

    查看更多 →

  • 并行导入

    65535 默认值:256 gds_debug_mod 参数说明:为了增强对Gauss Data Service (以下简称GDS)相关问题的分析定位能力,可以通过此参数选择是否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了