仅当配置“按表分区抽取”时，按表分区分片。 SAP HANA 支持按表字段分片。 不支持按表分区分片。 分库 每个后端连接一个子作业，子作业支持按主键分片。 NoSQL 分布式缓存服务（D CS ） 不支持分片。 Redis 不支持分片。 文档数据库服务（DDS） 不支持分片。 MongoDB 不支持分片。 Cassandra

查看更多 →

S集群、多维度分析、权限管理、JDBC开发、性能调优等场景。 表1 实验列表 场景 实验名称 实验描述 预计时长 导入分析 快速入门 一键式创建 GaussDB (DWS)集群，上传csv本地数据到云存储OBS桶，通过创建OBS外表实现数据导入并简单分析。 1h 零售业经营多维度分析

查看更多 →

Hive对接OBS 概述 Hive是一个 数据仓库 工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

仅当配置“按表分区抽取”时，按表分区分片。 SAP HANA 支持按表字段分片。 不支持按表分区分片。 分库 每个后端连接一个子作业，子作业支持按主键分片。 NoSQL 分布式缓存服务（DCS） 不支持分片。 Redis 不支持分片。 文档数据库服务（DDS） 不支持分片。 MongoDB 不支持分片。 Cassandra

查看更多 →

Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖探索 （ DLI ）， MRS ClickHouse Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储： 对象存储服务 （OBS） 关系型数据库：云数据库

查看更多 →

造为企业级MPP（大规模并行处理）架构的OLAP分布式数据库，其主要面向海量数据分析场景。 GaussDB(DWS) 与传统数据仓库相比，主要有以下特点与显著优势，可解决多行业超大规模数据处理与通用平台管理问题： 易使用 一站式可视化便捷管理 GaussDB(DWS) 让您能够轻

查看更多 →

同步增量数据 操作场景 启动目的端后，如果您的源端 服务器 有增量数据，您可以使用同步功能，将源端增量数据同步到目的端。 同步后，目的端新增数据会被源端数据覆盖，详细说明参见迁移完成后，目的端主机已启动并有新数据写入，再次进行源端增量数据同步，目的端新增数据会不会被源端数据覆盖？ 只

查看更多 →

文件增量迁移 CDM 支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁

查看更多 →

部门增量同步 接口说明 管理员被授权管理某企业后，在华为云买家中心控制台登录，对管理的企业执行新建、编辑、删除部门操作时，云商店调用该接口，请求商家同步该企业的组织增量变更；商家接口需要执行增量组织信息同步，保存信息，并返回通知云商店。 商家的服务器在处理接口请求时，需要做好幂等性处理。

查看更多 →

ALM-16001 Hive数据仓库空间使用率超过阈值 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），

查看更多 →

增量数据同步 CDM工具同样支持数据的增量同步，经过与业务方确认，考虑到可能存在业务方修改180天内历史数据的场景，因此在增量数据同步中以180天的时间范围获取数据。根据源表时间戳，获取源表内最新180天内数据存放在贴源层的增量分区表内，并通过ETL脚本将增量同步的数据进行增转全

查看更多 →

同步增量数据 操作场景 启动目的端后，如果您的源端服务器有增量数据，您可以使用同步功能，将源端增量数据同步到目的端。 只有迁移实时状态为“已完成”的任务，才可以进行同步操作。 操作步骤 登录 主机迁移服务 管理控制台。 在左侧导航树中，选择“迁移服务器”，进入迁移服务器列表页面。 在

查看更多 →

增量导入数据 操作场景 图引擎服务在创建图完成后可以导入图数据，或者当您需要新增图数据时，可以利用“导入”功能进行增量导入。 当前仅支持 1.1.8 以上版本的图的增量导入功能。 为防止系统重启时，不能正常恢复导入图数据，建议在使用图期间，不要删除存储在OBS中的数据。 数据列的分隔符默认为逗号，暂不支持自定义。

查看更多 →

上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样

查看更多 →

文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁

查看更多 →

上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样

查看更多 →

文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁

查看更多 →

ALM-16001 Hive数据仓库空间使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个

查看更多 →

Studio与 数据湖 底座进行对接，用于数据开发与 数据治理 等活动。 数据集成 数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，提供智能数据规划、自定

查看更多 →

eeline中可以直接查询到对应的Hive外部表，如果没有同步到Hive外部表，则可以通过Hudi客户端工具手动同步，具体步骤可参考将Hudi表数据同步到Hive。 查询Hudi表对应的Hive外部表 操作前提 使用Hive对Hudi表进行增量查询前，需要设置表1的3个参数，这3

查看更多 →