端边云车联网Serverless数据湖解决方案

快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程

查看更多 →

please check whether the installation is OK." SQLSTATE: 无 错误原因：未找到GDS安装目录。 解决办法：请检查GDS是否已被卸载或用户的环境变量是否被破坏。 GAUSS-53506: "Failed to check whether a

查看更多 →

integer 当前线程的轻量级线程号。 session_id bigint GDS的会话ID。 direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query

查看更多 →

不存在”。 默认值：off gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →

修改项目中数据处理作业的参数接口 功能介绍 修改项目中数据处理作业的参数。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/data/process/job/{job_id}/config 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

集成ModuleSDK进行数据处理 操作场景 代码解析 注册节点 创建产品 修改代码 项目打包 制作镜像包 创建应用 部署应用 添加边缘设备 设备接入 父主题： 集成ModuleSDK(Java)

查看更多 →

description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。 modified_sample_count

查看更多 →

执行以下命令创建GDS外表（8张表）。 以下每个外表的“gsfs://192.168.0.90:500x/xxx | gsfs://192.168.0.90:500x/xxx”中的IP地址和端口，请替换成安装和启动GDS中的对应的GDS的监听IP和端口。如启动两个GDS，则使用“|”

查看更多 →

GDS导入数据时，脚本执行报错：out of memory 问题现象 在使用GDS导入数据时，脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时，源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现，比如引号，文件格式异常导致系统识别的单行数据过大超过1GB。

查看更多 →

为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。单个导入任务可以拆分成多个导入任务并发执行导入；多个导入任务使用同一GDS时，可以使用-t参数打开GDS多线程并发执行导入。GDS建议挂载在不同物理盘以及不同网卡上，避免物理IO以及网络可能出现的瓶颈。 在GDS IO与网卡未达到物理瓶

查看更多 →

useradd -g gdsgrp gds_user chown -R gds_user:gdsgrp /opt/gds chown -R gds_user:gdsgrp /input_data 切换到gds_user用户。 su - gds_user 导入GDS环境变量。 仅8.1.x及以上版本需要执行，低版本请跳过。

查看更多 →

规划导出数据 操作场景 使用GDS从集群导出到数据之前，要提前准备需要导出的数据，并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据 服务器 ，创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data （

查看更多 →

GS_142050163 错误码： connection failure error. 解决方案：1.检查GDS进程是否崩溃。2.检查GDS启动参数-H是否正确。3.查看GDS日志，查看是否有报错信息。 level： ERROR GS_142120237 错误码： literal carriage

查看更多 →

com/vadimtk/ssb-dbgen.git cd ssb-dbgen && make 生成数据。 文件生成路径最好符合安装和启动GDS中SSB所使用的路径，否则需要修改安装和启动GDS中GDS的启动路径。 ./dbgen -s 100 -T c ./dbgen -s 100 -T l ./dbgen

查看更多 →

业务，源集群会额外获取远端集群端口号。 direction text 导入导出业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 min_done_lines json 语句在所有DN上的最小行数。

查看更多 →

65535 默认值：256 gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →

导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从 MRS 导入数据到集群 从 GaussDB (DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据

查看更多 →

等。相关案例请参见多线程导入。 在资源许可的情况下，多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入。 对于高并发的GDS导入场景，为了保持GDS和DN间的数据连接稳定，可以将GDS服务器环境和DN所在环境的TCP Keepalive检测时

查看更多 →

，详见GDS-Kafka入库模式。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除，如果入库数据中有delete操作，则必须使用扩展字段。 购买GDS-Kafka实例 使用数据迁移功能，首先需要购买一个GDS-kaf

查看更多 →

SQLSTATE: XX000 错误原因：GDS服务中URL参数错误。 解决办法：请检查URL参数值及格式正确性。 GAUSS-01254: "unrecognized URL '%s'" SQLSTATE: XX000 错误原因：GDS服务中URL参数错误。 解决办法：请检查URL参数值及格式正确性。

查看更多 →

使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题： 迁移业务数据至GaussDB(DWS)集群

查看更多 →