参考增强型跨源连接，在 DLI 上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。

查看更多 →

对于千万或亿级的超大表如何高效写入数据或创建索引 大表高效写入数据的方法 对于千万或亿级大数据量的表，建议使用如下方法提升数据写入效率。 删除不必要的索引。 更新数据时候，同时会更新索引数据。对于大数据量的表，避免创建大量的索引，影响更新速度。请根据业务评估，删除不必要的索引。 插入多条数据时，尽量选择批量插入。

查看更多 →

性能优化 华为云多年的数据库研发、搭建和维护经验，结合数据库云化改造技术，大幅优化传统数据库，为您打造更高可用、更高可靠、更高安全、更高性能、便捷运维、弹性伸缩的华为云数据库服务。 优质的硬件基础 华为云关系型数据库使用的是华为经过多年的研究、创新和开发，通过多重考验的 服务器 硬件，为用户带来稳定的、高性能数据库服务。

查看更多 →

tor：支持Oracle分区特性的连接器，专门对Oracle分区表的导入导出进行优化。 使用FTP数据源连接器时不加密数据，可能存在安全风险，建议使用SFTP数据源连接器。 建议将S FTP服务器 、FTP服务器和数据库服务器与Loader部署在独立的子网中，以保障数据安全地导入。

查看更多 →

M会自动选择一个分布列。关于分布列的更多信息，请参见 数据仓库 服务。 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致 CDM 作业失败。

查看更多 →

M会自动选择一个分布列。关于分布列的更多信息，请参见数据仓库服务。 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。

查看更多 →

参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。

查看更多 →

PAAS_ CS E_ENDPOINT CSE注册中心、配置中心等服务的地址信息。这个环境变量在微服务引擎专业版通过APIG访问的时候使用，上述服务的外部访问地址是统一的 域名 。 说明： 不建议使用这个环境变量，而是使用具体服务的环境变量，避免在微服务引擎专享版的场景下存在歧义，需要修改应用程序。 PAAS_CSE_SC_ENDPOINT

查看更多 →

选“是”时，物理表关系列表中展示已勾选物理表范围内识别到的主外键关系，后续会根据已勾选物理表创建相应的数据实体，并根据已识别出的物理表间的单列外键约束关系，基于已创建的数据实体自动创建非实体类关系实体。 单列外键约束是指外键关联的字段只有一个，通常用于建立单一字段的关联关系。例如，在一个订单表中，可以

查看更多 →

注意IP和端口号之间使用“逗号”隔开。 检查华为云关系型数据库服务的运行状态是否异常。 查看用户名密码是否正确，尝试重置密码。 尝试重启华为云关系型数据库实例，检查是否改善。 解决方案 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 单击页面左上角的，选择“数据库 > 云数据库 RDS”，进入RDS信息页面。

查看更多 →

典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS 典型场景：从关系型数据库导入数据到HBase 典型场景：从关系型数据库导入数据到Hive 典型场景：从HDFS/OBS导入数据到HBase 典型场景：从关系型数据库导入数据到ClickHouse 典型场

查看更多 →

作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

查看更多 →

L修正（如主键、唯一键因为数据原因无法修改），请联系运维人员处理。 没有主键的表不支持迁移。 如果没有主键，就无法精确定位记录，在分片变更过程中如果发生重试，可能导致数据增多。 解决方案：增加主键。 分片键不是主键的一部分可能导致逻辑表存在主键重复的数据(因为位于不同的物理分表内

查看更多 →

配置地图组件。 选中组件，单击组件上方的，设置组件数据来源。 在全局变量中，选择3中创建的全局变量hotSelect。 图4 选择全局变量hotSelect 在组件预览中，从表格字段中，拖拽对应的字段到配置中。 设置完成后，单击“保存”。 选择地图组件，单击组件上方的，显示热力图层，数据标题设

查看更多 →

SparkSQL天然与Hive集成，无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。

查看更多 →

Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。在连接关系型数据库前，需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点，获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${

查看更多 →

键值数据（Key-Value），简称KV，是文档型的数据项，提供主键到Value的映射。KV数据存储在表中。 分区键和排序键 分区键：分区键是一个表的属性，用于确定该表中的每一个KV存储所在的分区。例如，对于一个用户表，可以指定用户名属性作为分区键。 KVS会根据此用户名的名称（KV）选择分区，同样的用户名名称存储在同一个分区。

查看更多 →

HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键，HBase连接器默认取rowkey作为主键。详情可参考HBase SQL 连接器 Hbase源表 Hbase结果表

查看更多 →

列的名称不可以和PostgreSQL 11版本的关键字冲突。 是否主键 主键用于唯一地标识数据表中的信息，可通过设置复合主键将数据表中的多个数据设置为唯一，主键至多设置10个。 允许为空 主键所包含的列不允许设置为空。当数据库中某些数据允许没有值时，可设置为空。 是否可查询 依据模板中定义的列信息，给出数据库

查看更多 →

器 典型场景：从Hive导出数据到SFTP服务器 典型场景：从HDFS/OBS导出数据到关系型数据库 典型场景：从HBase导出数据到关系型数据库 典型场景：从Hive导出数据到关系型数据库 典型场景：从HBase导出数据到HDFS/OBS 父主题： 使用Loader

查看更多 →

如果是采集同一个文件，每次在OBS上更新文件，目标端数据库有主键情况下，每次会根据主键更新数据。 如果是采集多个文件，目标端数据库有主键且主键相同的情况下，每次都会更新成时间最早的文件里的值，即数据内容没有变化。因为从OBS获取多个文件默认按照时间降序排序，先解析最晚上传的文件，所以最早上传的文件最后解析，这样就会导

查看更多 →