如何处理表中存在主键重复的数据 场景 DDM实例的逻辑表中已存在主键数据类型边界值的记录，如果插入的数据超过主键数据类型的范围，表中会出现主键重复的数据。 处理方法 登录云服务管理控制台。 在RDS for MySQL的“实例管理”页面，查找DDM实例对应的RDS for MySQ L实例 ，单击目标RDS

查看更多 →

获取 数据仓库 列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

被分布式存储，因此分布键设计、单表存储数据量、分区数量都会影响单表的整体查询性能。 分布键设计 DWS默认会选择主键的第一列作为分布键。如果同时设置主键和分布键，则主键必须包含分布键。分布键决定了数据在各个分区之间的分布情况，如果分布键很好地分布在各个分区中，则可以使查询性能变得更好。

查看更多 →

X86和鲲鹏只是底层架构不一致，应用层不感知，sql语法一致，如果创建集群时提示X86资源不足，可以选择鲲鹏架构。 x86 规格 请根据业务需求合理选择节点规格。 - 存储 单个节点可用存储容量。 - 当前规格 显示集群当前规格。 - 名称 设置数据仓库集群的名称。 集群名称长度为4到

查看更多 →

量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。

查看更多 →

量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。

查看更多 →

产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，用户密

查看更多 →

建表时，支持定义主键和指标列，查询时返回主键相同的一组数据中的最新数据。相对于明细模型，更新模型简化了数据导入流程，能够更好地支撑实时和频繁更新的场景。 主键模型 主键模型支持分别定义主键和排序键。数据导入至主键模型的表中时，先按照排序键排序后再存储。查询时返回主键相同的一组数据中

查看更多 →

量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。

查看更多 →

量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。

查看更多 →

RDS表有自增主键时怎样在 DLI 插入数据？ 在DLI中创建关联RDS表时，如果RDS表包含自增主键或其他自动填充字段，您在DLI中插入数据时可以采取以下措施： 插入数据时省略自增字段：在DLI中插入数据时，对于自增主键字段或其他自动填充的字段，您可以在插入语句中省略这些字段。数据

查看更多 →

在sink算子前是否按指定的主键进行分区。 该参数旨在解决多并发写入的场景下且write.mode为upsert时，如果多个子任务中写入sink的一批数据具有不止一条相同的主键，并且主键相同的这些数据先后顺序不一致，就会导致两个子任务在向DWS根据主键获取行锁时发生互锁的问题。 示例

查看更多 →

数据仓库服务 GaussDB (DWS)接入LTS 支持数据仓库GaussDB（DWS）日志接入LTS。 具体接入方法请参见集群日志管理。 父主题： 使用云服务接入LTS

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （DLI） 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop

查看更多 →

在sink算子前是否按指定的主键进行分区。 该参数旨在解决多并发写入的场景下且write.mode为upsert时，如果多个子任务中写入sink的一批数据具有不止一条相同的主键，并且主键相同的这些数据先后顺序不一致，就会导致两个子任务在向DWS根据主键获取行锁时发生互锁的问题。 示例

查看更多 →

任务创建完成后，“任务管理”界面中显示刚才创建的任务。 图6 采集任务5 单击操作栏中“运行”按钮运行任务元数据采集。 图7 采集任务6 DWI层、DWR层元数据采集，采用发布数据模型的时候采集的方式。 DM层元数据按需采集。 任务监控 单击左侧导航树上“元数据采集>任务监控”，右侧区域显示任务监控界面，展示任务运行状态、日志等信息。

查看更多 →

多字段条件，多个相同优先级的单字段条件。 composed_expression 否 composed_expression object 组合条件, 逐层同级的子表达式嵌套。 表4 multi_field_expression 参数 是否必选 参数类型 描述 logic 否 String 多字段条件，多个相同优先级的单字段条件。

查看更多 →

建表时，支持定义主键和指标列，查询时返回主键相同的一组数据中的最新数据。相对于明细模型，更新模型简化了数据导入流程，能够更好地支撑实时和频繁更新的场景。 主键模型 主键模型支持分别定义主键和排序键。数据导入至主键模型的表中时，先按照排序键排序后再存储。查询时返回主键相同的一组数据中

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以ro

查看更多 →

CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖 探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop

查看更多 →

获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →