DLI 连接 介绍 通过DLI连接，可以导入数据到 数据湖探索 （DLI）服务， CDM 暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

DLI连接 介绍 通过DLI连接，可以导入数据到 数据湖 探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-trans*内部临时桶的权限策略添加请参见新增dli-trans*内部临时桶授权策略。 表1 DLI连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数

查看更多 →

DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-trans*内部临时桶的权限策略添加请参见新增dli-trans*内部临时桶授权策略。 表1 DLI连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数

查看更多 →

新建DLI数据连接 连接DLI前，需要满足以下条件： 已创建好DLI的数据库和资源队列。 新建DLI数据源连接 登录 DLV 管理控制台。 在“我的数据”页面，单击页面最上方的工作空间下拉列表并选择所需访问的工作空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“数据湖探索

查看更多 →

DLI数据连接参数说明 表1 DLI数据连接 参数 是否必选 说明 数据连接类型 是 DLI连接固定选择为数据湖探索（DLI）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。

查看更多 →

DLI 操作场景 基于数据湖探索（Data Lake Insight，简称DLI）服务的数据集。 前提条件 连接的数据源已创建，如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作，创建队列、数据库和表。 例如，创建了

查看更多 →

。 选择SQL语句时： DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog，表示为LakeFormation的数据库和数据表。 DLI环境变量 否 环境变量配置项需要以"hoodie

查看更多 →

datasource.css DLI内部相关模块： sys.res.dli-v2 sys.res.dli sys.datasource.dli-inner-table 访问元数据 是 是否通过Spark作业访问元数据。具体请参考使用Spark作业访问DLI元数据。 表2 高级参数 参数

查看更多 →

配置DLI源端参数 作业中源连接为DLI连接时，源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。

查看更多 →

配置DLI源端参数 作业中源连接为DLI连接时，源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。

查看更多 →

DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases

查看更多 →

be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。

查看更多 →

DLI增强型跨源连接DWS失败 问题现象 客户创建增强型跨源连接DLI和DWS，安全组已配置出方向规则到关联队列，使用的是密码形式的跨源认证，报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下：

查看更多 →

OBS数据迁移到DLI服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。

查看更多 →

OBS数据迁移到DLI服务 操作场景 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。

查看更多 →

如果您正在使用DLI经典型跨源连接的功能，请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误，不再提供该功能的任何技术服务支持。 DLI经典型跨源连接停止服务后，可以使用哪个功能替换？ 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能，通过建立对

查看更多 →

的异构数据进行探索。更多关于DLI的介绍，请参见DLI产品文档。 操作步骤 参考登录AstroCanvas界面中操作，登录AstroCanvas界面。 在主菜单中，选择“数据中心”。 在左侧导航栏中，选择“数据源”。 在数据源管理页面，单击“新建数据源”。 选择“DLI”，配置数据源参数。

查看更多 →

DLI增强型跨源连接为什么要创建对等连接 创建DLI增强型跨源连接时，创建对等连接的目的是打通网络。以 MRS 为例，如果DLI和MRS集群在同一个VPC中，安全组且放通的情况下，可以不用配置对等连接 父主题： 跨源连接问题

查看更多 →

建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图4 创建DLI数据源连接 配置目的端DLI数据源连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图5 配置DLI数据源连接参数 配置完成后，单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

查看更多 →

在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据源连接 配置完成后，单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

查看更多 →