gds 数据处理_创建数据处理任务版本-华为云

创建数据处理任务版本

创建数据处理任务版本功能介绍创建数据处理任务版本。调试您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/processor

来自：帮助中心

查看更多 →
CREATE FOREIGN TABLE (GDS导入导出)

FOREIGN TABLE (GDS导入导出) 创建GDS外表。功能描述在当前数据库创建一个GDS外表，用于数据并行导入导出。GDS外表分为只读外表和只写外表，分别用于数据并行导入和并行导出，缺省为只读外表。注意事项外表由命令执行者所有； GDS外表不需要显式指定分布方式，默认支持ROUNDROBIN分布方式；

来自：帮助中心

查看更多 →
数据处理预置算子说明

数据处理预置算子说明数据校验数据清洗数据选择数据增强

来自：帮助中心

查看更多 →
个人数据处理说明

个人数据处理说明个人数据清单使用目的存留期用户屏幕图像投屏中屏幕镜像信息投放 IdeaShare不保存个人数据用户音频输出口投屏中音频信息投放用户IP地址投屏连接

来自：帮助中心

查看更多 →
查询数据处理的算法类别

查询数据处理的算法类别功能介绍查询数据处理的算法类别。调试您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks/items

来自：帮助中心

查看更多 →
基于GDS的集群互联互通

化为一对GDS不落地导入导出作业，分别在目标集群、源集群上执行，形成高效实时的数据中转通路，实现数据迁移同步。执行时，可以选择在目标集群或源集群上发起，分别对应“拉”、“推”两种方式。图1 拉取方式 ① 远程连接源集群，创建GDS只写外表，发起导出作业。 ② 创建GDS只读外表，发起导入作业。

来自：帮助中心

查看更多 →
ALTER FOREIGN TABLE（GDS导入导出）

ALTER FOREIGN TABLE（GDS导入导出）功能描述对外表进行修改。注意事项无。语法格式设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET |

来自：帮助中心

查看更多 →
ALTER FOREIGN TABLE (GDS导入导出)

ALTER FOREIGN TABLE (GDS导入导出) 功能描述对外表进行修改。注意事项无。语法格式设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET

来自：帮助中心

查看更多 →
CREATE FOREIGN TABLE (GDS导入导出)

FOREIGN TABLE (GDS导入导出) 创建GDS外表。功能描述在当前数据库创建一个GDS外表，用于数据并行导入导出。GDS外表分为只读外表和只写外表，分别用于数据并行导入和并行导出，缺省为只读外表。注意事项外表由命令执行者所有； GDS外表不需要显式指定分布方式，默认支持ROUNDROBIN分布方式；

来自：帮助中心

查看更多 →
停止数据处理任务的版本

用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。请求参数无响应参数无请求示例停止数据处理任务的版本 POST https://{endpoint}/v2/{pr

来自：帮助中心

查看更多 →
SFT全参微调数据处理

alpaca_ft_packed_labels_document.bin alpaca_ft_packed_labels_document.idx 数据处理具体操作 SFT全参微调数据处理具体操作步骤如下。创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_inpu

来自：帮助中心

查看更多 →
GDS导入失败后，磁盘占用空间增大

GDS导入失败后，磁盘占用空间增大问题背景与现象使用GDS导入数据失败，触发作业重跑。重新开始数据导入，完成导入作业后查看磁盘空间，发现磁盘占用空间比导入数据量大很多。原因分析在导入数据失败后，占用的磁盘空间没有释放。解决办法检测GDS导入作业的日志，查看是否有执行失败的现象。

来自：帮助中心

查看更多 →
管理和查看数据处理任务

管理和查看数据处理任务登录ModelArts管理控制台，在左侧的导航栏中选择“数据管理>数据处理”，进入“数据处理”页面。在数据处理列表中，单击数据处理任务名称，进入数据处理任务的版本管理页面。您可以在该页面进行数据处理任务的“修改”与“删除”。当已有的数据处理任务不再使用时，您可以删除数据处理任务。

来自：帮助中心

查看更多 →
SFT全参微调数据处理

alpaca_ft_packed_labels_document.bin alpaca_ft_packed_labels_document.idx 数据处理具体操作 SFT全参微调数据处理具体操作步骤如下。创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_inpu

来自：帮助中心

查看更多 →
SFT全参微调数据处理

alpaca_ft_packed_labels_document.bin alpaca_ft_packed_labels_document.idx 数据处理具体操作 SFT全参微调数据处理具体操作步骤如下。创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_inpu

来自：帮助中心

查看更多 →
步骤2：在数据服务器上安装配置和启动GDS

ert/gds ./ 启动GDS。非SSL模式传输数据的情况下，使用如下命令启动GDS。 /opt/bin/gds/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/gds/gds_log.txt

来自：帮助中心

查看更多 →
Kafka流式数据处理集群快速入门

Kafka流式数据处理集群快速入门 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。

来自：帮助中心

查看更多 →
使用GDS从远端服务器导入数据

使用GDS从远端服务器导入数据关于GDS并行导入准备源数据安装配置和启动GDS 创建GDS外表执行导入数据处理导入错误停止GDS GDS导入示例父主题：导入数据

来自：帮助中心

查看更多 →
工具简介

gds_install是用于批量安装gds的脚本工具，可大大提高GDS部署效率。 gds_uninstall gds_uninstall是用于批量卸载GDS的脚本工具。 gds_ctl gds_ctl是一个批量控制GDS启停的脚本工具，一次执行可以在多个节点上启动/停止相同端口的GDS服务进程，并在启动时为

来自：帮助中心

查看更多 →
GDS导入数据时是否支持使用公网/外网导入？

GDS导入数据时是否支持使用公网/外网导入？不支持。GDS导入数据的原理是，GDS服务器和 GaussDB (DWS)在内网互通的前提下，使用集群内每个DN去并行连接GDS服务器，以达到大容量并行导入的目的，因此必须确保GDS服务器与集群在同一个网络内。如果GDS为线下服务器，则需

来自：帮助中心

查看更多 →
公共机制（选项参数、任务分配、压缩）

错误码描述：Unexpected EOF on GDS connection %s: %m. 解决方案：数据库与GDS交换数据时出错。对端GDS可能运行在带SSL认证的安全模式，请检查GDS与DN之间的网络连接、网络环境、节点系统端口是否正常，查看GDS的“WARNING”和“ERROR”日志，定位原因。

来自：帮助中心

查看更多 →