Loader是实现 MRS 与外部数据源如关系型数据库、S FTP服务器 、FTP 服务器 之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS 从关系型数据库导入数据到HBase 从关系型数据库导入数据到Phoenix表

查看更多 →

调用链中是否采集上报带有参数内容的原始sql 汇聚分表表名 array JAVA - 2.2.2 - 根据配置的表名，汇聚分表的sql。以该表名开头的表汇聚成同样的表名 mysql最大采集行数 integer JAVA 500 2.4.1 - 可采集的mysql最大行数 sql语句最大采集字节数

查看更多 →

才可以从将源集群的作业导入到目标集群。 作业运行过程中，任务异常中断，目标端已写入的部分数据不会清理，需手动清理。 单文件传输大小不超过1TB。 数据库迁移通用限制和约束 CDM 以批量迁移为主，仅支持有限的数据库增量迁移，不支持数据库实时增量迁移，推荐使用 数据复制服务 （DRS）来实现数据库增量迁移到RDS。

查看更多 →

import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果 import-all-tables 导入某个数据库下的所有表到HDFS中 job 生成一个sqoop任务

查看更多 →

继续进行实时同步。一般情况下不建议在同步过程中修改上述信息。 实时同步过程中，如果修改了源库端口，会导致同步任务失败。针对该情况，系统自动更新为正确的端口，重试任务后即可进行同步。一般情况下不建议在同步过程中修改端口。 实时同步过程中，对于因修改IP地址导致同步任务失败的情况，系

查看更多 →

及减少对源库和DRS任务的冲击。 在增量同步过程中做对比时，源库如果存在写入，则对比结果可能不一致。 不支持在全量同步过程中做对比。 不支持数据对比过程中做限速。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。

查看更多 →

7中是保留列名，无法创建出来。 Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中，s取值依赖于p的取值变化，即下限为p-65, 上限为p或30中取最小值。例如：当p=1, s的取值范围是[-64

查看更多 →

Hive连接适用于 MapReduce服务 ，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数

查看更多 →

失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。 对于一个DDL中存在多个rename的情况（例如：rename

查看更多 →

失败或数据不一致。 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。 对于一个DDL中存在多个rename的情况（例如：rename

查看更多 →

整个迁移过程中，不允许对正在迁移中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。 整个迁移过程中，不允许源库写入binlog格式为statement的数据。 整个迁移过程中，不允许源库执行清除binlog的操作。 整个迁移过程中，不允许在源库创建库名为ib_logfile的数据库。 全量迁移阶段：

查看更多 →

Unexpected end of JSON ... 问题现象 执行npm install时，提示异常信息如下： 原因分析 解析文件中的json字符串失败，有可能从镜像仓下载的文件不完整。 处理方法 修改Npm镜像仓，在Npm构建步骤里，添加如下命令： 1 npm config set

查看更多 →

'"abc"'::jsonb; 数组(array-json)：使用中括号[]包裹，满足数组书写条件。数组内元素类型可以是任意合法的JSON，且不要求类型一致。 select '[1, 2, "foo", null]'::json;select '[]'::json;select '[1, 2, "foo"

查看更多 →

rows) json_populate_record(anyelement, object-json [, bool]) 描述：$1必须是一个复合类型的参数。将会把object-json里的每个对键值进行拆分，以键当做列名，与$1中的列名进行匹配查找，并填充到$1的格式中。 返回类型：anyelement

查看更多 →

SELECT '"a"'::json; json ------ "a" (1 row) gaussdb=# select '"abc"'::jsonb; jsonb ------- "abc" (1 row) 数组(array-json)：使用中括号[]包裹，满足数组

查看更多 →

rows) json_populate_record(anyelement, object-json [, bool]) 描述：$1必须是一个复合类型的参数。将会把object-json里的每个对键值进行拆分，以键当做列名，与$1中的列名进行匹配查找，并填充到$1的格式中。 JSO

查看更多 →

JSON构造器 JSON构造器为用户提供构造JSON对象的能力，用户通过界面化操作可以构造出复杂的JSON结构，也可以通过“源码模式”，将复杂的JSON格式数据转换到界面显示，包含“构造JSON对象”执行动作。 连接参数 变量连接器无需认证，无连接参数。 切换为源码模式： 构造完

查看更多 →

rows) json_populate_record(anyelement, object-json [, bool]) 描述：$1必须是一个复合类型的参数。将会把object-json里的每个对键值进行拆分，以键当做列名，与$1中的列名进行匹配查找，并填充到$1的格式中。 返回类型：anyelement

查看更多 →

其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称：选择步骤2：创建连接章节中创建的DWS连接“dwslink”。 模式或表空间：选择导入到DWS的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DWS数据库中创建该表。

查看更多 →

接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 在本地编辑JSON文件，将“Add password here”替换为对应连接的正确密码。

查看更多 →

作业。 本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail02和mail03，且表结构一致，数据内容不同。目的端为MRS Hive服务。 操作前提 已创建CDM集群。 已经开通了MRS Hive服务。 已经在MRS Hive服务中创建了数据库和表。 创建连接

查看更多 →