获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置：

查看更多 →

表结构(包括列数，主键索引)是否对齐。 不通过提示及处理建议 不通过原因：目标库的冗余列（源库中不存在的列）不能存在非空约束，否则会导致数据迁移因为非空约束而阻塞。 处理建议： 检查目标库中的冗余列的非空约束： DESC [table_name]; 修改冗余列的非空约束参考： Alter

查看更多 →

原因分析 MySQL到DWS链路，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段时且该字段在MySQL中出现null值，那么写入到DWS中将会报错。 解决方案 在DWS写入数据前，对DWS的主键字段进行过滤，如果是null，则打印warning日志提示同时不写入该行数据。

查看更多 →

指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息，查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例 create table data_partition(id

查看更多 →

作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

查看更多 →

键值数据（Key-Value），简称KV，是文档型的数据项，提供主键到Value的映射。KV数据存储在表中。 分区键和排序键 分区键：分区键是一个表的属性，用于确定该表中的每一个KV存储所在的分区。例如，对于一个用户表，可以指定用户名属性作为分区键。 KVS会根据此用户名的名称（KV）选择分区，同样的用户名名称存储在同一个分区。

查看更多 →

ServiceStage的应用名称。 CAS_COMPONENT_NAME ServiceStage的组件名称。 CAS_INSTANCE_VERSION ServiceStage的部署版本号。 您可以结合不同微服务开发框架的机制，比如Spring Cloud提供的Place Holder机制、Java

查看更多 →

列的名称不可以和PostgreSQL 11版本的关键字冲突。 是否主键 主键用于唯一地标识数据表中的信息，可通过设置复合主键将数据表中的多个数据设置为唯一，主键至多设置10个。 允许为空 主键所包含的列不允许设置为空。当数据库中某些数据允许没有值时，可设置为空。 是否可查询 依据模板中定义的列信息，给出数据库

查看更多 →

源库数据类型 目标库数据类型 源库数据类型做主键，同步能力 源库数据类型做非主键，同步能力 源库数据类型做主键，对比能力 源库数据类型做非主键，对比能力 备注 CHAR CHARACTER 支持 支持 支持，忽略字符前后的空格 支持，忽略字符前后的空格 - VARCHAR CHARACTER

查看更多 →

对于千万或亿级的超大表如何高效写入数据或创建索引 大表高效写入数据的方法 对于千万或亿级大数据量的表，建议使用如下方法提升数据写入效率。 删除不必要的索引。 更新数据时候，同时会更新索引数据。对于大数据量的表，避免创建大量的索引，影响更新速度。请根据业务评估，删除不必要的索引。 插入多条数据时，尽量选择批量插入。

查看更多 →

PAAS_ CS E_ENDPOINT CSE注册中心、配置中心等服务的地址信息。这个环境变量在微服务引擎专业版通过APIG访问的时候使用，上述服务的外部访问地址是统一的 域名 。 说明： 不建议使用这个环境变量，而是使用具体服务的环境变量，避免在微服务引擎专享版的场景下存在歧义，需要修改应用程序。 PAAS_CSE_SC_ENDPOINT

查看更多 →

示，实例数据入图的具体操作请参考后续章节。 实例数据入图流程图 图1 实例数据入图流程图 多源数据入图属性规则说明 同一实体支持多个源端关系型数据库映射，您可为同一实体的不同属性分别配置不同表字段的映射。然后使用不同的映射分别配置入图任务进行入图，实现多源数据的融合。 数据实体维

查看更多 →

tor：支持Oracle分区特性的连接器，专门对Oracle分区表的导入导出进行优化。 使用FTP数据源连接器时不加密数据，可能存在安全风险，建议使用SFTP数据源连接器。 建议将S FTP服务器 、FTP 服务器 和数据库服务器与Loader部署在独立的子网中，以保障数据安全地导入。

查看更多 →

注意IP和端口号之间使用“逗号”隔开。 检查华为云关系型数据库服务的运行状态是否异常。 查看用户名密码是否正确，尝试重置密码。 尝试重启华为云关系型数据库实例，检查是否改善。 解决方案 登录管理控制台。 单击管理控制台左上角的，选择区域。 单击页面左上角的，选择“数据库 > 云数据库 RDS”，进入RDS信息页面。

查看更多 →

性能优化 华为云多年的数据库研发、搭建和维护经验，结合数据库云化改造技术，大幅优化传统数据库，为您打造更高可用、更高可靠、更高安全、更高性能、便捷运维、弹性伸缩的华为云数据库服务。 优质的硬件基础 华为云关系型数据库使用的是华为经过多年的研究、创新和开发，通过多重考验的服务器硬件，为用户带来稳定的、高性能数据库服务。

查看更多 →

分区键和排序键之间的对比如表1所示 表1 分区键、排序键对比 对比维度 分区键 排序键 应用场景 分区键用于确定该表中的每一个KV所在的分区。例如，对于一个用户表，可以指定用户名属性作为分区键。 KVS会根据此用户名的名称（KV）选择分区，同样的用户名名称存储在同一个分区。 表中的KV会根

查看更多 →

配置地图组件。 选中组件，单击组件上方的，设置组件数据来源。 在全局变量中，选择3中创建的全局变量hotSelect。 图4 选择全局变量hotSelect 在组件预览中，从表格字段中，拖拽对应的字段到配置中。 设置完成后，单击“保存”。 选择地图组件，单击组件上方的，显示热力图层，数据标题设

查看更多 →

典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS 典型场景：从关系型数据库导入数据到HBase 典型场景：从关系型数据库导入数据到Hive 典型场景：从HDFS/OBS导入数据到HBase 典型场景：从关系型数据库导入数据到ClickHouse 典型场

查看更多 →

与源数据库的表结构不一致时请在目标数据库表中创建缺失的列，或把目标数据库表中已存在名称字母相同但大小写不同的列转为小写，或删除源数据库表中多余的列。 待确认原因：源端表的主键列和目标端表的主键列存在不一致问题。主键列不一致，可能会导致同步失败或者数据不一致。 处理建议：改目标端表的主键，和源端表的主键列保持一致。 参考命令:

查看更多 →

Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。在连接关系型数据库前，需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点，获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${

查看更多 →

SparkSQL天然与Hive集成，无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。

查看更多 →