map 是 无 数据处理规则 将每行数据按照指定的分隔符，分隔成多个字段，供之后的转换算子使用。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。 样例 源文件如下图： 配置“ CS V文件输入”算子，分隔符为“,”，生成两个字段A、B。

查看更多 →

该算子默认以"\n"作为行分隔符，如果某一字段内部存在"\n",需要提前处理；例如；将"\n"提前替换为空格，防止读取失败。示例如下： import pandas as pd df = pd.read_csv("test.csv",index_col=0) df = df.replace(to_replace=r'[\n\r]'

查看更多 →

map 是 无 数据处理规则 将每行数据按照指定的分隔符，分隔成多个字段，供之后的转换算子使用。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。 样例 源文件如下图： 配置“CSV文件输入”算子，分隔符为“,”，生成两个字段A、B。

查看更多 →

本地上传文件信息存入数据库 功能介绍 本地上传文件信息存入数据库。 URI URI格式 POST /softcomai/datalake/collection/v1.0/upload/records 参数说明 无。 请求 请求样例 { "fileName": "src95156873436249665

查看更多 →

目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 过滤DROP DATABASE

查看更多 →

标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移：将选择的表级对象迁移至目标数据库。 库级迁移：将选择的库级对象迁移至目标数据库。 如果有切换源数据库的操作或源库迁移对象变化的情况，请务必在选择迁移对象前单击右上角的，以确保待选择的对象为最新源数据库对象。

查看更多 →

采集机注册时上传csv文件 功能介绍 采集机注册时上传csv文件。 URI URI格式 POST /softcomai/datalake/collection/v1.0/probePackage/restCSV 参数说明 无。 请求 请求样例 POST https://ip:po

查看更多 →

新建CSV文件数据连接 通过CSV文件数据源，您可以将本地的CSV文件上传至OBS服务后与大屏建立数据连接，或者将存储在OBS服务中的CSV文件与大屏建立数据连接，在大屏上展示CSV文件的数据。 连接CSV文件前，需要满足以下条件： 已获取访问密钥Access Key（访问密钥ID，AK）、Secret

查看更多 →

否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafk

查看更多 →

否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafk

查看更多 →

否 (none) String 是否将 "null" 字符串转化为 null 值。 数据类型映射 目前 CSV 的 schema 都是从 table schema 推断而来的。显式地定义 CSV schema 暂不支持。 Flink 的 CSV Format 数据使用 jackson

查看更多 →

该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”： 增量同步通过解析日志等技术，将源端产生的增量数据同步至目标端。 是否开启Binlog快速清理 选择是否开启目标数据库实例Binlog快速清理功能。开启后，DR

查看更多 →

迁移对象 左侧框是源数据库对象，右侧框是已经选择的对象，您可以根据业务需求，选择全部对象迁移、表级迁移或者库级迁移。 全部迁移：将源数据库中的所有对象全部迁移至目标数据库，对象迁移到目标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移：将选择的表级对象迁移至目标数据库。

查看更多 →

实例资源清单上传后，单击云盘资源清单后的“添加文件”，将导出的阿里云ECS云盘资源清单上传。 Redis 单击资源清单后的“添加文件”，将导出的阿里云Redis实例资源清单上传。 对象存储 单击资源清单后的“添加文件”，将导出的阿里云OSS桶资源清单上传。 数据库 单击资源清单后的“添加文件”，将导出的阿里云RDS

查看更多 →

实例资源清单上传后，单击云盘资源清单后的“添加文件”，将导出的阿里云ECS云盘资源清单上传。 Redis 单击资源清单后的“添加文件”，将导出的阿里云Redis实例资源清单上传。 对象存储 单击资源清单后的“添加文件”，将导出的阿里云OSS桶资源清单上传。 数据库 单击资源清单后的“添加文件”，将导出的阿里云RDS

查看更多 →

目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 过滤DROP DATABASE

查看更多 →

。使用 DLI 可轻松将CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到 对象存储服务 OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：

查看更多 →

转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件，本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一（适用于Windows操作系统） 选择csv文件，鼠标右键，打开方式选择“记事本”。 在记事本窗口左上角选择“文件

查看更多 →

上传CSV文件时需要注意什么？ 请确保CSV在本地JMeter可以正常取值，使用。 请上传CSV（UTF-8无BOM）格式的文件，不要上传其他格式，可能存在编码读取问题。 父主题： JMeter工程使用

查看更多 →

目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 过滤DROP DATABASE

查看更多 →

迁移对象 左侧框是源数据库对象，右侧框是已经选择的对象，您可以根据业务需求，选择全部迁移、表级迁移或者库级迁移。 全部迁移：将源数据库中的所有对象全部迁移至目标数据库，对象迁移到目标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移：将选择的表级对象迁移至目标数据库。

查看更多 →