端边云车联网Serverless数据湖解决方案

create_time Long 数据处理任务的创建时间。 deleted_sample_count Integer 处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs

查看更多 →

GDS导入失败后，磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败，触发作业重跑。重新开始数据导入，完成导入作业后查看磁盘空间，发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后，占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志，查看是否有执行失败的现象。

查看更多 →

ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET

查看更多 →

FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表，用于数据并行导入导出。GDS外表分为只读外表和只写外表，分别用于数据并行导入和并行导出，缺省为只读外表。 注意事项 外表由命令执行者所有； GDS外表不需要显式指定分布方式，默认支持ROUNDROBIN分布方式；

查看更多 →

ALTER FOREIGN TABLE（GDS导入导出） 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET |

查看更多 →

大屏数据处理应用模板 描述 大屏数据处理应用模板，可配合组件资产“大屏Demo”使用。 开放能力 大屏数据处理应用模板为APP资产，提供服务能力。 服务 说明 getTodayForDmax 该服务用于获取当天时间。 getTaskStatusNum 该服务用于获取各任务状态的具体数量。

查看更多 →

工业数据处理基础工具链专题设计 数据湖 治理平台设计 工业数据资产库设计 父主题： 行业知识中心方案设计

查看更多 →

查询数据处理任务版本的结果展示 功能介绍 查询数据处理任务版本的结果展示。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/

查看更多 →

ert/gds ./ 启动GDS。 非SSL模式传输数据的情况下，使用如下命令启动GDS。 /opt/bin/gds/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/gds/gds_log.txt

查看更多 →

使用GDS从远端 服务器 导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题： 导入数据

查看更多 →

gds_install是用于批量安装gds的脚本工具，可大大提高GDS部署效率。 gds_uninstall gds_uninstall是用于批量卸载GDS的脚本工具。 gds_ctl gds_ctl是一个批量控制GDS启停的脚本工具，一次执行可以在多个节点上启动/停止相同端口的GDS服务进程，并在启动时为

查看更多 →

动GDS。 其中GDS安装路径为“/opt/bin/gds”，导出数据文件存放在“/output_data/”目录下，数据服务器所在IP为192.168.0.90，GDS侦听端口为5000，以后台方式运行。 /opt/bin/gds/gds -d /output_data -p 192

查看更多 →

使用GDS传输数据的过程中，报错：connection failure error 问题现象 在使用GDS传输数据的过程中，报错“connection failure error”。 原因分析 GDS进程崩溃。执行命令检查GDS进程是否崩溃： ps ux|grep gds 如果返回结果如下，则说明GDS进程启动成功：

查看更多 →

错误码描述：Unexpected EOF on GDS connection %s: %m. 解决方案：数据库与GDS交换数据时出错。对端GDS可能运行在带SSL认证的安全模式，请检查GDS与DN之间的网络连接、网络环境、节点系统端口是否正常，查看GDS的“WARNING”和“ERROR”日志，定位原因。

查看更多 →

err_tpcds_reasons; 待数据导入完成后，以gds_user用户登录每台数据服务器，分别停止GDS。 以下以IP为192.168.0.90的数据服务器为例，停止GDS。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

ANALYZE product_info; 停止GDS 以gds_user用户登录安装GDS的数据服务器。 使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中，GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题： 导出数据

查看更多 →

快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程

查看更多 →

socket不合法。 解决办法：请检查gds与数据节点的网络连接、网络环境、节点的系统端口是否正常。 GAUSS-01376: "Unexpected EOF on GDS connection '%s': %m" SQLSTATE: XX000 错误原因：系统内部错误。与GDS端交互数据时，发生了错误。

查看更多 →

集成ModuleSDK进行数据处理 场景说明 代码解析 注册节点 创建产品 修改代码 项目打包 制作镜像包或插件包 创建应用 部署应用 添加边缘设备 设备接入 查看SDK运行日志 父主题： 集成ModuleSDK(C)

查看更多 →

根据创建外表时所规划的导出模式判断，是否为Local模式。 - 启动GDS。 若规划的导出模式为Remote模式，需在数据服务器上安装配置并启动GDS。 详细内容请参见安装配置和启动GDS。 - 创建外表。 创建外表用于帮助GDS指定导出的数据文件。外表中保存了导出数据文件的位置、文件格式、编码格式、数据间的分隔符等信息。

查看更多 →