使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

y 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

RDS for MySQL同步到Kafka 概述 资源和成本规划 操作流程 创建VPC和安全组 源端RDS for MySQL准备 目标端Kafka准备 创建DRS同步任务 确认同步任务执行结果 父主题： 实时同步

查看更多 →

过程/函数/触发器引用视图/表、主外键关联表等。 全量同步过程中暂停、任务异常续传，目标Kafka中可能会出现重复数据，请使用Kafka数据中的identifier字段进行去重（同一个shardId）。 增量同步过程中，请勿在Kafka上删除接收DRS数据的topic，否则可能导致任务失败。

查看更多 →

企业信用评估应用场景示意图 数据准备 以下数据和表结构是根据场景进行模拟的数据，并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中， TICS 本身不会持有这些数据，这些数据会通过用户购买的计算节点进行加密计算，保障数据安全。 政府信息提供方的数

查看更多 →

类型，MySQL中不支持设置Nan、Inf、-Inf三种值，DRS默认会将这三种值转为0保存。 Oracle的check约束同步到MySQL会失效，原因是MySQL不支持check约束。 Oracle中建议列名不要取名AUTO_PK_ROW_ID，原因是这个列名在MySQL5.7中是保留列名，无法创建出来。

查看更多 →

，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

y 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error

查看更多 →

（如创建、删除）。 Topic导入 仅支持导入xlsx、xls和csv格式文件。 导入文件中的描述信息不能以=号开头，并且如果有换行符，将会进行转义。 单个导入文件中，Topic数不能超过100。 Topic导出 仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。

查看更多 →

继续进行实时同步。一般情况下不建议在同步过程中修改上述信息。 实时同步过程中，如果修改了源库端口，会导致同步任务失败。针对该情况，系统自动更新为正确的端口，重试任务后即可进行同步。一般情况下不建议在同步过程中修改端口。 实时同步过程中，对于因修改IP地址导致同步任务失败的情况，系

查看更多 →

，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。 对于一个DDL中存在多个rename的情况（例如：rename

查看更多 →

失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。 对于一个DDL中存在多个rename的情况（例如：rename

查看更多 →

配置云数据库MySQL/MySQL数据库连接 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称，

查看更多 →

器。 对象存储是一种非常扁平化的存储方式，桶中存储的对象都在同一个逻辑层级，去除了文件系统中的多层级树形目录结构。 在OBS中，桶名必须是全局唯一的且不能修改，即用户创建的桶不能与自己已创建的其他桶名称相同，也不能与其他用户创建的桶名称相同。每个桶在创建时都会生成默认的桶ACL（Access

查看更多 →

据灾备。一般情况下不建议在灾备过程中修改上述信息。 数据灾备过程中，如果修改了业务库端口，会导致该灾备任务失败。一般情况下不建议在灾备过程中修改业务库端口。 数据灾备过程中，如果业务库为非本云关系型数据库实例，不支持修改IP地址。本云关系型数据库实例，对于因修改IP地址导致灾备任

查看更多 →

dump-data.sql 导入数据 通过Flexus 云服务器 X实例或可访问FlexusRDS的设备，用相应客户端连接FlexusRDS实例，将导出的SQL文件导入到FlexusRDS。 如果源数据库中包含触发器、存储过程、函数或事件调用，则需确保导入前设置目标数据库参数log_bin_

查看更多 →

从HBase中导出数据到S FTP服务器 从HBase中导出数据到关系型数据库 从Phoenix表导出数据到SFTP 服务器 从Phoenix表导出数据到关系型数据库 从Hive中导出数据到SFTP服务器 从Hive中导出数据到关系数据库 从同一集群内HBase导出数据到HDFS/OBS MRS 与外部数据源交换数据

查看更多 →

指定导出数据文件是否包含标题行，标题行一般用来描述表中每个字段的信息。header只能用于 CS V，FIXED格式的文件中。 在导入数据时，如果header选项为on，则数据文本第一行会被识别为标题行，会忽略此行。如果header为off，而数据文件中第一行会被识别为数据。 在导出数据时，如果

查看更多 →

配置云数据库MySQL/MySQL数据库连接 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称，

查看更多 →