迁移DWS数据至 DLI 本文为您介绍如何通过 CDM 数据同步功能，迁移 数据仓库 服务DWS数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建数据仓库服务DWS集群。具体创建DWS集群的操作可以参考创建DWS集群。

查看更多 →

创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联

查看更多 →

创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联

查看更多 →

典型场景示例：迁移DWS数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移数据仓库服务DWS数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建数据仓库服务DWS集群。具体创

查看更多 →

从DLI导入表数据到 GaussDB (DWS)集群 本实践演示使用GaussDB(DWS)外表功能从 数据湖探索 服务DLI导入数据到GaussDB(DWS)数据仓库的过程。 了解DLI请参见 数据湖 产品介绍。 本实践预计时长60分钟，实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索

查看更多 →

DLI 基于数据湖探索（Data Lake Insight，简称DLI）服务的数据集。 前提条件 连接的数据源已创建，如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作，创建队列、数据库和表。 例如，创建了数据库tpch，且数据库中预置了所需的表。

查看更多 →

DSC能够识别哪些数据源对象？ DSC能通过内置规则和自定义规则从OBS、RDS、Elasticsearch、DWS、DLI等的海量数据中分析并识别出敏感对象。 DSC支持的数据源如表1所示。 表1 支持的数据源 数据源 具体的数据类型 扫描限制 RDS（关系型数据库） MySQL

查看更多 →

在数据集管理页面，单击“新建数据集”。 在新增数据集页面，设置数据集名称、选择数据类型、数据源和目录，单击“保存”。 图1 新建数据集 数据集名称：新建数据集的名称，用于标识该数据集。长度为1~60个字符，可包括中文、字母、数字及下划线。 数据类型：选择“DWS”。 数据源：选择DWS数据源中，创建的数据源。 目录

查看更多 →

使用DLI Flink作业实时同步Kafka数据至(GaussDB)DWS集群 本实践演示通过数据湖探索服务 DLI Flink作业将分布式消息服务 Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。演示过程包括实时写入和更新已有数据的场景。

查看更多 →

DWS DWS连接器用于连接DWS数据库，负责建立和维护应用程序和DWS数据库之间的连接，并管理数据的传输。 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务，兼容ANSI/ISO标准的SQL92、SQL99和SQL

查看更多 →

图15 最终页面展示 设置数据源，选中一个视图组件，如图单击数据按钮。 图16 设置数据源 数据类型选择DWS，并配置DWS数据源，配置流程中通过sql语句查询DWS数据，并在组件预览中将查询出来的数据与组件的配置做映射。详情参考数据集管理。 图17 配置数据 参考上述步骤完成所有组件的配置。

查看更多 →

DWS DWS Connector概述 DWS源表（不推荐使用） DWS结果表（不推荐使用） DWS维表（不推荐使用） 父主题： Connector列表

查看更多 →

DLI外表(OBS文件)迁移DWS某字段转义，带有“\” 问题描述 DLI 外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。 源端： 目的端： 故障分析 根据截图可以看出，源端样值中有符号：{ 括号 ”

查看更多 →

DLI增强型跨源连接DWS失败怎么办？ 问题现象 客户创建增强型跨源连接DLI和DWS，安全组已配置出方向规则到关联队列，使用的是密码形式的跨源认证，报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下：

查看更多 →

不同CDM集群支持的数据源程度不一样，以实际为准。 表/文件同步支持的数据源类型 表/文件同步可以实现表或文件级别的数据同步。 支持单表同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示： 数据仓库：DWS、DLI Hadoop： MRS Hive、Apache

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题： 系统内置预设策略

查看更多 →

DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases

查看更多 →

DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

DOUBLE PRECISION ); 查询数据，当前为空表。 1 SELECT * FROM dws_data.dws_order; 步骤三：创建DLI队列 登录华为云控制台，服务列表选择“大数据 > 数据湖探索DLI”，进入DLI管理控制台。 左侧导航栏选择“资源管理 >

查看更多 →

。 选择SQL语句时： DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog，表示为LakeFormation的数据库和数据表。 DLI环境变量 否 环境变量配置项需要以"hoodie

查看更多 →