中软国际数据治理专业服务解决方案实践

受限于倾斜节点的容量或者性能。 GaussDB数据库针对数据倾斜问题给出了完整的解决方案，包括存储倾斜和计算倾斜两大问题，下面分别进行介绍。 存储层数据倾斜 GaussDB数据库中，数据分布存储在各个DN上，通过分布式执行提高查询的效率。但是，如果数据分布存在倾斜，则会导致分布式

查看更多 →

查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP（Massive

查看更多 →

导入倾斜影像数据 KooMap服务支持导入倾斜影像和生产资料，您可以根据实际需求将待处理的数据从OBS导入到KooMap存储空间。 操作须知 KooMap服务对租户间的数据进行了逻辑隔离，不同租户间的数据互不可见。同一租户下的用户数据不进行隔离，数据互相可见、可操作。 前提条件 原始倾斜影像已上传到OBS。

查看更多 →

Skew Filter: (c = 1) 数据1在skew_scol表上有倾斜，对倾斜数据做roundrobin，非倾斜数据做redistribute。 数据0在skew_scol表上是非倾斜侧，对倾斜数据做broadcast，非倾斜数据做redistribute。 由此可以看到两个stream类型分别是PART

查看更多 →

查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 背景信息 GaussDB是采用Shared-Nothing架构的MPP（Massive

查看更多 →

仍然受限于倾斜节点的容量或者性能。 GaussDB数据库针对数据倾斜问题给出了完整的解决方案，包括存储倾斜和计算倾斜两大问题，下面分别进行介绍。 存储层数据倾斜 GaussDB数据库中，数据分布存储在各个DN上，通过分布式执行提高查询的效率。但是，如果数据分布存在倾斜，则会导致分

查看更多 →

受限于倾斜节点的容量或者性能。 GaussDB数据库针对数据倾斜问题给出了完整的解决方案，包括存储倾斜和计算倾斜两大问题。 存储层数据倾斜 GaussDB数据库中，数据分布存储在各个DN上，通过分布式执行提高查询的效率。但是，如果数据分布存在倾斜，则会导致分布式执行某些DN成为瓶

查看更多 →

数据倾斜查询最佳实践 快速定位查询存储倾斜的表 父主题： 最佳实践

查看更多 →

数据倾斜查询优秀实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题： 数据库管理

查看更多 →

数据倾斜查询最佳实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题： 最佳实践

查看更多 →

数据倾斜查询最佳实践 快速定位查询存储倾斜的表 父主题： 最佳实践

查看更多 →

Hive数据 当前没有单独的Hive数据备份，请参考HDFS数据进行操作。 父主题： 数据备份与恢复

查看更多 →

倾斜影像 导入倾斜影像 管理倾斜影像 父主题： 实景三维

查看更多 →

管理倾斜影像 管理倾斜影像支持以下操作： 查询倾斜影像 删除倾斜影像 前提条件 已导入倾斜影像。 查询倾斜影像 您可根据实际需求查询符合过滤条件的倾斜影像。 登录KooMap管理控制台。 在左侧导航栏选择“实景三维”下的“数据管理”菜单，单击右侧页面的“倾斜影像”页签。 在页面右上角设置过滤条件。

查看更多 →

Hive元数据 Hive元数据备份 Hive表数据存储在HDFS上，表数据及表数据的元数据由HDFS统一按数据目录进行迁移。而Hive表的元数据根据集群的不同配置，可以存储在不同类型的关系型数据库中（如MySQL，PostgreSQL，Oracle等）。本指导导出的Hive表元数

查看更多 →

导入倾斜影像 您可根据实际需求将待处理的倾斜摄影影像数据从OBS导入到KooMap存储空间。 倾斜摄影影像数据为由无人机或航空飞机拍摄的框幅式影像，影像格式需为.jpg、.jpeg、.JPG或.JPEG格式，单张影像的像素总数不超过2.5亿，总影像张数建议不超过30万张。 存放在

查看更多 →

Hive数据源 通过连接Hive Metastore，或者兼容Hive Metatore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除Hive外，很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，不仅能访问Hive，也能访问使用Hive

查看更多 →

选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。 单击“数据管理 > Hive”，进入Hive页面。 单击“新建Hive表”，进入New Hive Table页面。 配置Hive表参数，配置完成后，单击“确定”。 新建临时查询 在Hive页面，单击“新建临时查询”，进入Hive

查看更多 →

选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。 单击“数据管理 > Hive”，进入Hive页面。 单击“新建Hive表”，进入New Hive Table页面。 配置Hive表参数，配置完成后，单击“确定”。 新建临时查询 在Hive页面，单击“新建临时查询”，进入Hive

查看更多 →

Hive数据导入导出 Hive表/分区数据导入导出 Hive数据库导入导出 父主题： 使用Hive

查看更多 →

备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全，或者系统管理员需要对Hive进行重大操作（如升级或迁移等），需要对Hive数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight

查看更多 →