数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 -

查看更多 →

数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 -

查看更多 →

创建FlinkServer作业写入数据至 数据仓库 服务(DWS) 本章节适用于 MRS 3.3.1及之后的版本。 操作场景 数据仓库服务(DWS)是在线数据分析处理数据库。本示例以安全模式FlinkServer、Kafka为例，以DWS作为sink表，以及创建表时使用的with参数和

查看更多 →

建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 MRS 3.x之前版本： 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“节点管理

查看更多 →

获取数据仓库自定义属性列表 功能介绍 获取数据仓库自定义属性列表 URI GET /v1.0/{project_id}/common/warehouses/custom-attributes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID

查看更多 →

尝试在数据库没有其他查询或查询较少的时候运行查询语句，并观察运行效率。如果效率较高，则说明可能是由于之前运行数据库系统的主机负载过大导致查询低效。此外，还可能是由于执行计划比较低效，但是由于主机硬件较快使得查询效率较高。 检查重复相同查询语句的执行效率。 查询效率低的一个重要原因是查询所需信息没有缓存在

查看更多 →

使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。

查看更多 →

配置会话保持提升访问效率 会话保持，指负载均衡器可以识别客户与 服务器 之间交互过程的关联性，在实现负载均衡的同时，保持将其他相关联的访问请求分配到同一台服务器上。 会话保持有什么作用呢，举例说明如下：如果有一个用户在服务器甲登录了，访问请求被分配到服务器甲，在很短的时间，这个用户又

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

配置会话保持提升访问效率 会话保持，指负载均衡器可以识别客户与服务器之间交互过程的关联性，在实现负载均衡的同时，保持将其他相关联的访问请求分配到同一台服务器上。 会话保持有什么作用呢，举例说明如下：如果有一个用户在服务器甲登录了，访问请求被分配到服务器甲，在很短的时间，这个用户又

查看更多 →

第二类工具，关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具，元数据缺失，湖里的数据质量就没法保障，最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展，数据湖中数据

查看更多 →

HBase中抽取数据，然后将数据通过JDBC接口插入到临时表（Staging Table）中。 在MapReduce作业的提交阶段，将数据从临时表迁移到正式表中。 数据导出到文件系统 在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据写入到文件服务器临时目录中。

查看更多 →

掉一些标准数据库的事务或者数据增删改的功能或者性能。因此，数据仓库和数据库的使用场景还是有所不同的。事务型数据库专注于事务处理（企业的业务运营），而数据仓库更擅长于复杂的数据分析。两者各司其职，互不干扰。简单一句话可以理解为，数据库主要负责数据更新，数据仓库主要负责数据分析。 云数据仓库解决方案

查看更多 →

云数据迁移安全简介 CDM 简介 云数据迁移（Cloud Data Migration，简称CDM）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持多种常用数据源，如客户自建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。

查看更多 →

适用于数据仓库服务（DWS）的最佳实践 该示例模板中对应的合规规则的说明如下表所示： 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 dws-clusters-no-public-ip DWS集群未绑定弹性公网IP dws DWS集群绑定弹性公网IP，视为“不合规”

查看更多 →

第二类工具，关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具，元数据缺失，湖里的数据质量就没法保障，最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展，数据湖中数据

查看更多 →

目的连接名称：选择已创建的DWS目标端连接。 模式或表空间：选择待写入数据的DWS数据库。 自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。 导入前清空数据：任务启动前，是否清除目的表中数据，用户可根据实际需要选择。 单击“下一步”，进行字段映射。

查看更多 →

全表关联UPDATE时，如何提升效率？ 答：可以通过消除SubPlan的方式提升效率。如下两种UPDATE的方式，方式一的执行计划中存在一个SubPlan，方式二消除了这个SubPlan后修改速度大大增加。 前置操作，建表和插入数据。 --建表。 gaussdb=# CREATE

查看更多 →

CodeArts Snap在知识搜索方面效率提升 CodeArts Snap知识搜索案例 - 未知依赖查询 CodeArts Snap知识搜索案例 - 直接引入组件

查看更多 →