MySQL到 GaussDB (for MySQL)单主灾备 支持的源和目标数据库 表1 支持的数据库 灾备关系 业务数据库 灾备数据库 本云为备 本地自建MySQL数据库 E CS 自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL GaussDB(for MySQL)主备实例

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到OBS的任务。 图6 创建MySQL到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MySQL连接中的“mysqllink”。 使用SQL语句：否。

查看更多 →

DLV 的数据连接支持以下几种： 数据库类：包括 数据仓库 服务（DWS）、 数据湖探索 服务（ DLI ）、 MapReduce服务 （ MRS ）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL Se

查看更多 →

GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 GaussDB(for MySQL)主备实例 GaussDB(for MySQL)主备实例 目前仅支持白名单用户使用。 数据库账号权限要求

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称：选择已创建的DLI连接“dlilink”。 模式或表空间：选择导入到DLI的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时， CDM 会自动在DLI中创建该表。 表名：选择导入到DLI的哪张表。

查看更多 →

将MySQL同步到 CSS /ES 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL 5.5、5.6、5.7、8.0版本 ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 目前仅支持白名单用户使用。 使用建议

查看更多 →

会失败。 同步到kafka partition策略 同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 按主键的hash值投递到不同的Parti

查看更多 →

支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。

查看更多 →

单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到OBS的任务。 图6 创建MySQL到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MySQL连接中的“mysqllink”。 使用SQL语句：否。

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

。指定文件时需要此文件已经存在，SparkSQL用户是文件属主，且用户对文件拥有“读”、“写”和“执行”权限，同时对此文件上层的每一级目录拥有“读”和“执行”权限。 创建函数、删除函数或者修改任意数据库。 需要授予“管理”权限。 操作Hive中所有的数据库和表。 需加入到supe

查看更多 →

将MySQL同步到CSS/ES 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 5.5、5.6、5.7、8.0版本 ECS自建MySQL数据库 5.5、5.6、5.7、8.0版本 ElasticSearch 5.5、6.2、6.5、7.1、7

查看更多 →

。指定文件时需要此文件已经存在，SparkSQL用户是文件属主，且用户对文件拥有“读”、“写”和“执行”权限，同时对此文件上层的每一级目录拥有“读”和“执行”权限。 创建函数、删除函数或者修改任意数据库。 需要授予“管理”权限。 操作Hive中所有的数据库和表。 需加入到supe

查看更多 →

查询，生成了csv数据文件，文件内容为insert插入的数据内容。 图4 查询结果 指定的OBS数据目录包含数据文件。 在OBS桶“dli-test-021”根目录下创建数据文件目录“data2”。创建如下内容的测试数据文件“test.csv”，并上传文件到“obs://dli-test-021/data2”目录下。

查看更多 →

producer_partition_by 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error

查看更多 →

单击“创建数据库”，在弹出框中设置数据库相关信息，单击“确定”。 图1 创建数据库 表1 参数说明 参数名称 说明 数据库名称 数据库名称在1到64个字符之间，由字母、数字、中划线或下划线组成，不能包含其他特殊字符，且中划线累计出现的次数不能超过10次。 字符集 字符集您可根据业务进行选择。

查看更多 →

源库varchar类型的长度大于等于667时，该类型到Oracle中将会被转成clob类型。 源库不支持列类型为binary且长度为0的字段（即binary(0)），这是由于GaussDB(for MySQL)的binary类型经过DRS同步到Oracle时会映射为raw类型，而在Ora

查看更多 →

图10 创建同步数据表 图11 查看执行结果 插入数据。选中如图所示的SQL语句，单击“执行”即可插入数据到event_records表，并同步写入到RDS数据表中。 图12 插入数据 查看SQL作业执行状态。依次单击左侧导航栏“作业管理”“SQL作业”查看SQL作业的执行状态。

查看更多 →