迁移DWS数据至 DLI 本文为您介绍如何通过 CDM 数据同步功能，迁移 数据仓库 服务DWS数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建数据仓库服务DWS集群。具体创建DWS集群的操作可以参考创建DWS集群。

查看更多 →

创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联

查看更多 →

创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联

查看更多 →

DLI 操作场景 基于 数据湖探索 （Data Lake Insight，简称DLI）服务的数据集。 前提条件 连接的数据源已创建，如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作，创建队列、数据库和表。 例如，创建了

查看更多 →

DLI增强型跨源连接DWS失败 问题现象 客户创建增强型跨源连接DLI和DWS，安全组已配置出方向规则到关联队列，使用的是密码形式的跨源认证，报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下：

查看更多 →

在数据集管理页面，单击“新建数据集”。 在新增数据集页面，设置数据集名称、选择数据类型、数据源和目录，单击“保存”。 图1 新建数据集 数据集名称：新建数据集的名称，用于标识该数据集。长度为1~60个字符，可包括中文、字母、数字及下划线。 数据类型：选择“DWS”。 数据源：选择DWS数据源中，创建的数据源。

查看更多 →

在数据集管理页面，单击“新建数据集”。 在新增数据集页面，设置数据集名称、选择数据类型、数据源和目录，单击“保存”。 图1 新建数据集 数据集名称：新建数据集的名称，用于标识该数据集。长度为1~60个字符，可包括中文、字母、数字及下划线。 数据类型：选择“DWS”。 数据源：选择DWS数据源中，创建的数据源。

查看更多 →

transaction”，此时可通过3清理无用数据。 如果集群超过半数以上的数据盘使用率超过70%，则说明集群数据量较大，可通过4清理数据或磁盘扩容。 如果集群数据盘中最高和最低使用率相差超过10%，则通过5处理数据倾斜。 确认告警配置是否合理。 返回 GaussDB (DWS)管理控制台，进入“告警管理

查看更多 →

DWS_2000000012 节点数据盘时延超阈值（Node Data Disk Latency Exceeds the Threshold） 告警解释 GaussDB(DWS)每30秒采集集群各节点的数据盘时延。如果某节点的某数据盘最近10分钟（可配置）内的平均时延超过400m

查看更多 →

默认资源池队列阻塞时，集群内所有关联默认资源池的复杂查询（估算内存大于等于32MB）均有可能排队阻塞，只有当正在运行的查询结束时才会唤醒排队中的查询。 可能原因 查询估算内存过大，导致累积估算内存超过动态可用内存上限引发CCN排队。 CPU、IO等公共资源竞争导致正在运行的查询性能出现劣化。 处理步骤 确认是否由于估算内存过大造成排队。

查看更多 →

进入上报告警集群的“监控面板”中，在左侧导航栏选择“监控 > 实时查询 > 实时会话”页签，对会话列表进行查询，查询条件like，查询关键字“vacuum full”。 查询是否有等待vacuum full表锁的存在，在实时会话页面，根据“锁定对象”查询和vacuum full相同操作的锁对象。 确认是否需要处理vacuum

查看更多 →

DLI 操作场景 基于 数据湖 探索（Data Lake Insight，简称DLI）服务的数据集。 前提条件 连接的数据源已创建，如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作，创建队列、数据库和表。 例如，创建了

查看更多 →

xxxx-xxxx-xxxx-xxxx,cluster_name: test_dws,instance_id: xxxx-xxxx-xxxx-xxxx,instance_name: test_dws-dws-cn-cn-1-1 详细信息 产生告警的详细信息，包括集群、实例、阈值信息。例如：CloudService=DWS

查看更多 →

至“磁盘”模块查看数据盘I/O使用率、磁盘I/O速率等信息。 如果磁盘I/O速率高，数据盘使用率持续上升，说明有业务在写入数据或存在复杂查询导致大量下盘，用户可结合自身业务情况进行判断。 单击左侧导航栏的“实时查询”按钮进入实时查询页面，查看当前进行的实时查询。 如果存在执行时间

查看更多 →

DWS_2000000017 查询语句堆积数量超阈值（Number of Queuing Query Statements Exceeds the Threshold） 告警解释 GaussDB(DWS)开启实时查询监控时，默认每60秒通过GS_WLM_SESSION_STATI

查看更多 →

DWS_2000000028 DWS集群节点动态内存使用率超阈值（The dynamic memory usage in the data warehouse cluster exceeds the threshold） 告警解释 GaussDB(DWS)每60秒采集集群各节点的

查看更多 →

DWS DWS Connector概述 DWS源表（不推荐使用） DWS结果表（不推荐使用） DWS维表（不推荐使用） 父主题： Connector列表

查看更多 →

下盘量大说明系统I/O资源被大量占用，可能导致数据盘空间不足，引发数据库只读/磁盘满，影响系统可用性，最终导致系统停止服务。 可能原因 业务执行过程中正常的数据下盘超过告警阈值。 业务SQL的查询执行计划欠佳，大量数据导入内存触发下盘。 未及时清理过期数据，导致扫描到过多无效数据而触发下盘。 处理步骤 确认执行计划是否欠佳。

查看更多 →

xxxx-xxxx-xxxx-xxxx,cluster_name: test_dws。 详细信息 产生告警的详细信息，包括集群、阈值信息。例如：CloudService=DWS, resourceId: xxxx-xxxx-xxxx-xxxx, resourceIdName: test_dws, first_alarm_time:

查看更多 →

DWS_2000000027 DWS集群节点实例内存使用率超阈值（The process memory usage in the data warehouse cluster exceeds the threshold） 告警解释 GaussDB(DWS)每60秒采集集群各节点的

查看更多 →

。 选择SQL语句时： DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog，表示为LakeFormation的数据库和数据表。 DLI环境变量 否 环境变量配置项需要以"dli

查看更多 →