导入导出Hive数据库 操作场景 在大数据应用场景中，往往存在将Hive中的数据库及数据库下的所有表迁移到另一个集群上，使用Hive的导出导入数据库命令可以实现完整数据库的迁移。 本章节内容适用于 MRS 3.2.0及之后版本。 Hive数据库导入导出功能目前不支持对加密表、HBa

查看更多 →

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 前提条件 MRS

查看更多 →

<staging-table-name> 创建一个与导入目标表同样数据结构的表，将所有数据先存放在该表中，然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性，因为在导入的过程中可能会有多个事务，那么一个事务失败会影响到其它事务，比如导入的数据会出现错误或出现

查看更多 →

Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、S FTP服务器 、FTP 服务器 之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS

查看更多 →

，如果是外置自建数据库，则需在安装Hive时或者暂无Hive数据时将元数据外置，安装后不允许修改，否则将会造成原有元数据丢失。 当外置元数据到MySQL后，Hive仅表名、字段名、表描述支持中文，其余暂不支持。 Hive支持开源MySQL和Postgres元数据库。 安装开源MySQL或Postgres数据库。

查看更多 →

指定查询语句，将查询结果导入 hcatalog参数 --hcatalog-database 指定hive库，使用hcatalog方式导入hive库 --hcatalog-table 指定hive表，使用hcatalog方式导入hive表 其他参数 -m或--num-mappers 后跟数字，表示sqoop任务的分片数

查看更多 →

概述 “数据导入”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS

查看更多 →

目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 过滤DROP DATABASE

查看更多 →

标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移：将选择的表级对象迁移至目标数据库。 库级迁移：将选择的库级对象迁移至目标数据库。 如果有切换源数据库的操作或源库迁移对象变化的情况，请务必在选择迁移对象前单击右上角的，以确保待选择的对象为最新源数据库对象。

查看更多 →

的事情。 云数据迁移 服务（ CDM ）可以请轻松将外部数据源（关系数据库、 对象存储服务 、文件系统服务等）加载到Hive分区表。 本实践为您演示使用CDM云服务将MySQL数据导入到MRS集群内的Hive分区表中。 操作场景 假设MySQL数据库中有一张表“trip_data”，保存了自

查看更多 →

property 1, property 2, … 图16 vertex_user_rds2obs新增字段映射 调整字段顺序，点数据集将label调整至第2列，边数据集将label调整至第3列。调整完成后如图18所示，然后单击下一步。 图17 vertex_user_rds2obs调整字段顺序

查看更多 →

使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop

查看更多 →

的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景 假设MySQL上有一张表trip_data，保存了自行车骑行记录，里面有起始

查看更多 →

使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检

查看更多 →

典型场景：从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁

查看更多 →

Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在几十TB级别或以下的数据

查看更多 →

该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”： 增量同步通过解析日志等技术，将源端产生的增量数据同步至目标端。 是否开启Binlog快速清理 选择是否开启目标数据库实例Binlog快速清理功能。开启后，DR

查看更多 →

迁移对象 左侧框是源数据库对象，右侧框是已经选择的对象，您可以根据业务需求，选择全部对象迁移、表级迁移或者库级迁移。 全部迁移：将源数据库中的所有对象全部迁移至目标数据库，对象迁移到目标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 表级迁移：将选择的表级对象迁移至目标数据库。

查看更多 →

的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景 假设MySQL上有一张表trip_data，保存了自行车骑行记录，里面有起始

查看更多 →

的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景 假设MySQL上有一张表trip_data，保存了自行车骑行记录，里面有起始

查看更多 →

器，专门对Oracle分区表的导入导出进行优化。 建议将SFTP服务器和数据库服务器与Loader部署在独立的子网中，以保障数据安全地导出。 与关系数据库连接时，可以选择通用数据库连接器（generic-jdbc-connector）或者专用数据库连接器（oracle-conne

查看更多 →