map 是 无 数据处理规则 将每行数据按照指定的分隔符，分隔成多个字段，供之后的转换算子使用。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。 样例 源文件如下图： 配置“CSV文件输入”算子，分隔符为“,”，生成两个字段A、B。

查看更多 →

该算子默认以"\n"作为行分隔符，如果某一字段内部存在"\n",需要提前处理；例如；将"\n"提前替换为空格，防止读取失败。示例如下： import pandas as pd df = pd.read_csv("test.csv",index_col=0) df = df.replace(to_replace=r'[\n\r]'

查看更多 →

map 是 无 数据处理规则 将每行数据按照指定的分隔符，分隔成多个字段，供之后的转换算子使用。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。 样例 源文件如下图： 配置“CSV文件输入”算子，分隔符为“,”，生成两个字段A、B。

查看更多 →

“数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。 配置参数 参数 说明 源端数据源 设置源端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目

查看更多 →

“数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。 配置参数 参数 说明 源端数据源 设置源端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目

查看更多 →

从OBS导入CSV,TXT数据 创建访问密钥（AK和SK） 上传数据到OBS 创建OBS外表 执行导入数据 处理错误表 OBS导入数据示例 父主题： 从OBS并行导入数据

查看更多 →

数据导入 数据管理服务支持从本地或者OBS桶导入数据，进行数据的备份和迁移。 使用须知 当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。 导入单文件大小最大可达1GB。 可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果MySQL

查看更多 →

数据导入 数据管理服务支持从本地或者OBS桶导入数据，进行数据的备份和迁移。 使用须知 当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。 导入单文件大小最大可达1GB。 可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果MySQL

查看更多 →

数据导入 数据管理服务支持从本地或者OBS桶导入数据，进行数据的备份和迁移。 使用须知 当需要进行数据备份或迁移时，您可以将数据导入目标数据表，目标CSV表数据类型须与待导入表数据类型保持一致，SQL文件同理。 导入单文件大小最大可达1GB。 可以支持导入的数据文件类型包括CSV格式和SQL文件格式。如果MySQL

查看更多 →

导入参数模板 操作场景 云数据库RDS支持导入参数模板，导入后会生成一个新的参数模板，供您后期使用。请参考应用参数模板将导入的参数模板应用到新的实例。 约束限制 支持导入的参数模板必须是从RDS控制台“参数管理”页面导出的参数模板。 如果修改导出的参数模板文件而导致文件格式变化，可能会导致文件导入失败。

查看更多 →

LOAD DATA 功能描述 将文件中的数据导入到数据库指定表中。 注意事项 LOAD DATA语法仅在MYSQL兼容模式(sql_compatibility = 'MYSQL')下支持。 LOAD DATA语法仅在开启b_format_version='5.7'和b_forma

查看更多 →

property 1, property 2, … 图17 vertex_user_rds2obs新增字段映射 调整字段顺序，点数据集将label调整至第2列，边数据集将label调整至第3列。调整完成后如图19所示，然后单击下一步。 图18 vertex_user_rds2obs调整字段顺序

查看更多 →

采集机注册时上传csv文件 功能介绍 采集机注册时上传csv文件。 URI URI格式 POST /softcomai/datalake/collection/v1.0/probePackage/restCSV 参数说明 无。 请求 请求样例 POST https://ip:po

查看更多 →

Load是一个同步的导入方式，用户通过HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream Load同步执行导入并返回导入结果，用户可直接通过请求的返回体判断本次导入是否成功。 Stream Load主要适用于导入本地文件，或通过程序导入数据流中的数据。支持导入CSV、Par

查看更多 →

其中DN0和DN1上分配了两个文件，其他DN分配了1个文件。 如果OBS上文件大小都相同时，OBS上的文件数与DN节点数的比例为1:1时导入性能为最好，因为每个DN分配的任务都相同。因此建议将数据文件存储到OBS前，尽可能均匀地将文件切分成多个，文件的数量以DN的整数倍更适合。 图1

查看更多 →

使用GDS工具将数据从数据库导出到普通文件系统中，适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件，该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时： 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。

查看更多 →

导入数据 支持将OBS上的数据导入到DLI中创建的表中。 注意事项 导入数据时只能指定一个路径，路径中不能包含逗号。 如果将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。 导入文件支持CSV，

查看更多 →

否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafk

查看更多 →

否 (none) String 是否将 "null" 字符串转化为 null 值。 数据类型映射 目前 CSV 的 schema 都是从 table schema 推断而来的。显式地定义 CSV schema 暂不支持。 Flink 的 CSV Format 数据使用 jackson

查看更多 →

否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafk

查看更多 →

目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 过滤DROP DATABASE

查看更多 →