Spark从HBase读取数据再写入HBase样例程序开发思路 场景说明 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1

查看更多 →

Spark从HBase读取数据再写入HBase样例程序开发思路 场景说明 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。 现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1

查看更多 →

Spark从Hive读取数据再写入HBase样例程序开发思路 场景说明 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。

查看更多 →

导出数据库备份文件 本小节介绍了数据库全量备份文件和事务日志（增量）备份文件的导出方法。 检查本地数据库参数配置。 该操作为全量+增量迁移的必操作项，仅进行全量迁移时，可以跳过该步骤。 由于数据库存在日志截断和收缩配置，在导出全量备份文件前，需要将数据库恢复模式配置成“完整”模式

查看更多 →

写入和读写操作 关于写入和读写操作的命令： INSERT，可向表中插入一行或多行数据。 UPDATE，可修改表中现有数据。 DELETE，可删除表中现有数据。 COPY，导入数据。 INSERT和COPY是纯写入的操作。并发写入操作，需要等待，对同一个表的操作，当事务T1的INS

查看更多 →

HoodieMultiTableDeltaStreamer流式写入 HoodieMultiTableDeltaStreamer流式写入仅适用于 MRS 3.2.0及之后版本。 HoodieDeltaStreamer支持从多种类型的源表抓取数据写入Hudi目标表，但是HoodieDeltaStre

查看更多 →

记录数据的根节点。该节点对应的数据为JSON数组， CDM 会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象，例如： { "took": 190,

查看更多 →

首行为标题行 从关系型数据库导出数据到OBS，“文件格式”为“ CS V格式”时，才有该参数。 在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 否 作业成功标识文件 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。

查看更多 →

记录数据的根节点。该节点对应的数据为JSON数组，CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象，例如： { "took": 190,

查看更多 →

用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前只支持从HTTP URL导出数据，不支持导入。 参见配置HTTP源端参数。 数据仓库 DWS 支持从数据仓库 DWS导出数据。 参见配置DWS源端参数。 SAP HANA 支持从SAP HANA导出数据。

查看更多 →

首行为标题行 从关系型数据库导出数据到OBS，“文件格式”为“CSV格式”时，才有该参数。 在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 否 作业成功标识文件 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。

查看更多 →

写入文件大小 源端为数据库时该参数才显示，支持按大小分成多个文件存储，避免导出的文件过大，单位为MB。 1024 编码类型 文件编码类型，例如：“UTF-8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 首行为标题行 从关系型数据库导出数据到OBS，“文件格式”为“CSV格式”时，才有该参数。

查看更多 →

记录数据的根节点。该节点对应的数据为JSON数组，CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象，例如： { "took": 190,

查看更多 →

记录数据的根节点。该节点对应的数据为JSON数组，CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象，例如： { "took": 190,

查看更多 →

可以直接从云下访问弹性文件服务吗？ SFS Turbo支持通过IDC专线或其他方式建立通信后，可以从云下访问SFS Turbo文件系统。 SFS容量型文件系统暂不支持直接从云下访问弹性文件服务，但您可以将数据从云下迁移至弹性文件服务后再使用。 父主题： 其他类

查看更多 →

Ahead Log）。 是：开启后如果出现HBase 服务器 宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Deci

查看更多 →

Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Deci

查看更多 →

用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前只支持从HTTP URL导出数据，不支持导入。 参见配置HTTP源端参数。 数据仓库 DWS 支持从数据仓库 DWS导出数据。 参见配置DWS源端参数。 SAP HANA 支持从SAP HANA导出数据。

查看更多 →

并行拉取方式，性能好，横向扩展。 使用GDS从远端服务器导入数据 Servers（即远端服务器） 使用 GaussDB (DWS)提供的GDS工具，利用多DN并行的方式，将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高，适用于大批量数据入库。 从MRS导入数据到集群 MRS（HDFS）

查看更多 →

用户可以使用以下方式通过COPY FROM STDIN语句直接向GaussDB写入数据。 通过键盘输入向GaussDB写入数据。详细请参见COPY。 通过JDBC驱动的CopyManager接口从文件或者数据库向GaussDB写入数据。此方法支持COPY语法中copy option的所有参数。

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →