保存 CS V数据到OBS 概述 将csv格式的数据保存到OBS 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 无 参数说明 参数 子参数 参数说明 output_file_path

查看更多 →

是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时，才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时，该参数才显示。

查看更多 →

/user/output 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输， CDM 会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/S

查看更多 →

读/写长时间未写入的文件很慢 可能原因 长时间未使用的文件缓存已被清理。 解决方法 网关设置的缓存盘容量有限，当缓存盘使用率超过缓存清理阈值时，CSG会自动删除长时间未写入操作的文件。如果用户需要重新使用该文件时，CSG会自动从OBS桶中下载文件到缓存盘，受网络带宽限制，下载可能

查看更多 →

/user/output 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/S

查看更多 →

FROM命令将日志文件导入这个表： 1 COPY gaussdb_log FROM '/opt/data/pg_log/logfile.csv' WITH csv; 此处的日志名“logfile.csv”要换成实际生成的日志的名称。 简化输入 简化输入到CSV日志文件，可以通过如下操作：

查看更多 →

FROM命令将日志文件导入这个表： 1 COPY postgres_log FROM '/opt/data/pg_log/logfile.csv' WITH csv; 此处的日志名“logfile.csv”要换成实际生成的日志的名称。 简化输入 简化输入到CSV日志文件，可以通过如下操作：

查看更多 →

FROM命令将日志文件导入这个表： 1 COPY gaussdb_log FROM '/opt/data/pg_log/logfile.csv' WITH csv; 此处的日志名“logfile.csv”要换成实际生成的日志的名称。 简化输入 简化输入到CSV日志文件，可以通过如下操作：

查看更多 →

Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端，查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群

查看更多 →

枚举 重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式： REPLACE：替换重复文件。 SKIP：跳过重复文件。 ABANDON：发现重复文件停止任务。 toJobConfig.compression 否 枚举 写入文件后，选择对文件的压缩格式。支持以下压缩格式：

查看更多 →

作业开发 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

Load是一个同步的导入方式，用户通过HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream Load同步执行导入并返回导入结果，用户可直接通过请求的返回体判断本次导入是否成功。 Stream Load主要适用于导入本地文件，或通过程序导入数据流中的数据。支持导入CSV、Parquet、ORC格式的数据，默认支持导入CSV格式数据。

查看更多 →

枚举 重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式： REPLACE：替换重复文件。 SKIP：跳过重复文件。 ABANDON：发现重复文件停止任务。 toJobConfig.compression 否 枚举 写入文件后，选择对文件的压缩格式。支持以下压缩格式：

查看更多 →

LOAD DATA 功能描述 将文件中的数据导入到数据库指定表中。 注意事项 LOAD DATA语法仅在MYSQL兼容模式(sql_compatibility = 'MYSQL')下支持。 LOAD DATA语法仅在开启b_format_version='5.7'和b_forma

查看更多 →

使用FTP上传文件时写入失败，文件传输失败怎么办？ 问题描述 使用FTP上传文件时，写入失败，文件传输失败。 约束与限制 该文档适用于Windows系统上的FTP服务。 可能原因 FTP服务端在NAT环境下，客户端需使用被动模式连接服务端。在这种情况下，服务端的IP地址无法从路由

查看更多 →

使用FTP上传文件时写入失败，文件传输失败怎么办？ 问题描述 使用FTP上传文件时，写入失败，文件传输失败。 约束与限制 该文档适用于Windows系统上的FTP服务。 可能原因 FTP服务端在NAT环境下，客户端需使用被动模式连接服务端。在这种情况下，服务端的IP地址无法从路由

查看更多 →

使用FTP上传文件时写入失败，文件传输失败怎么办？ 问题描述 使用FTP上传文件时，写入失败，文件传输失败。 约束与限制 该文档适用于Windows系统上的FTP服务。 可能原因 FTP服务端在NAT环境下，客户端需使用被动模式连接服务端。在这种情况下，服务端的IP地址无法从路由

查看更多 →

DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark

查看更多 →

DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark

查看更多 →

本章节将介绍如何创建 DataArts Studio 数据集成作业。 本例中，需要创建如下三类集成作业： OBS到MySQL迁移作业：为方便演示，需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业：正式业务流程中，需要将MySQL中的原始样例数

查看更多 →

”。 新建文件夹。 具体请参见《 对象存储服务 控制台指南》中的新建文件夹章节。 例如： 在已创建的OBS桶“mybucket”中新建一个文件夹“output_data”。 在已创建的OBS桶“mybucket02”中新建一个文件夹“output_data”。 获取新建文件夹的OBS路径。

查看更多 →