经典型跨源连接(废弃,不推荐使用)
推荐使用增强型跨源连接,请参考增强型跨源连接概述。
DLI 经典型跨源连接可用于访问CloudTable的Hbase和OpenTSDB,MRS的OpenTSDB,DWS,RDS,CSS数据源。
- 开发SQL作业请参考《数据湖探索SQL语法参考》>《HBase表》、《OpenTSDB表》、《DWS表》、《RDS表》、《CSS表》。
- 开发Spark作业请参考《数据湖探索开发指南》>《使用Spark作业开发DLI跨源连接》。
- 经典型跨源只适用于用户自建队列。使用前需要先绑定队列。
- 系统default队列不支持创建跨源连接。
- 访问跨源表需要使用已经创建跨源连接的队列。
- 跨源表不支持Preview预览功能。
经典型跨源主要包括如下功能:
经典型跨源页面
显示所有的经典型跨源连接,连接数量较多时,系统分页显示。
参数 |
参数说明 |
---|---|
连接名称 |
所创建的跨源连接名称。 |
连接状态 |
跨源连接的状态信息,具体如下:
|
服务类型 |
目前支持访问的数据源类型如下:
|
连接地址 |
跨源连接创建成功后将显示连接地址,用于在SQL或Spark作业中访问其他数据源。 |
目的地址 |
目的数据源的原始地址。 |
创建时间 |
每个连接的创建时间,可按创建时间顺序或倒序显示连接列表。 |
进度 |
连接创建的进度, 用百分比表示。 |
操作 |
|
创建连接
以访问CloudTable数据源为例,创建经典型跨源连接的步骤如下:
- 创建需要访问的数据源。例如,需要访问CloudTable数据源,请先登录CloudTable管理控制,在CloudTable服务中购买集群。
- 在DLI管理控制台左侧,选择“跨源管理”。
- 选择“经典型跨源”页签,单击“创建”按钮。
输入连接名称,选择服务类型,安全组,虚拟私有云,子网,输入目的地址,详细参数介绍请参见表2。图1 创建经典跨源
表2 参数说明 参数
参数说明
连接名称
所创建的跨源连接名称。
- 名称只能包含数字、英文字母、下划线和中划线。不能为空。
- 输入长度不能超过64个字符。
服务类型
目前支持访问六种类型数据源。
- 表格存储服务 CloudTable和CloudTable.OPENTSDB
- MapReduce服务 MRS.OPENTSDB
- 数据仓库服务 DWS
- 云数据库(关系型数据库) RDS
- 云搜索服务 CSS
安全组
选择对应的安全组信息。不同服务的安全组信息,可在创建对应的服务集群或实例时由系统提供,或查看已有集群或数据库实例信息。
虚拟私有云
选择对应的虚拟私有云信息。不同服务的虚拟私有云信息,可在创建对应的服务集群或实例时由系统提供,或查看已有集群或数据库实例信息。
子网
选择对应的子网信息。不同服务的子网信息,可在创建对应的服务集群或实例时由系统提供,或查看已有集群或数据库实例信息。
目的地址
连接目的数据源的地址。不同服务的地址略有不同。
- 表格存储服务 CloudTable:ZK链接地址。
- 表格存储服务 CloudTable OpenTSDB:“OpenTSDB所在节点的IP:OpenTSDB服务对外端口”。
- MapReduce服务 OpenTSDB:“OpenTSDB所在节点的IP:OpenTSDB服务对外端口”。
MRS OpenTSDB IP信息和端口信息获取方式:
- 在MRS集群列表中,单击所使用的集群名称,进入集群“概览”页;
- 在集群“基本信息”中找到“集群管理页面”,单击“点击查看”;
- 输入用户名和密码(“用户名”和“密码”为购买MRS集群时设置,“用户名”默认为“admin”),单击“登录”进入“MRS Manager”页面;
- 选择“服务管理”页签;
- 进入“Opentsdb”服务;
- 选择“实例”页签,可以查看对应业务IP,可选择任意一个业务IP。
选择“服务配置”页签,找到OpenTSDB的对外端口。
说明:如果MapReduce服务集群存在多个IP,创建跨源连接时填写其中任意一个业务IP即可。
- 数据仓库服务 DWS:“内网IP:端口”。
说明:
DWS服务集群提供2个内网IP,创建跨源连接时填写其中任意一个内网IP即可。
- 云数据库(关系型数据库) RDS:“内网地址:数据库端口”。
- 云搜索服务 CSS:“内网地址:端口”。
说明:
如果CSS服务集群存在多个内网IP,创建跨源连接时填写其中任意一个内网IP即可。
标签
使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。
具体请参考《标签管理服务用户指南》。
说明:- 最多支持20个标签。
- 一个“键”只能添加一个“值”。
- 每个资源中的键名不能重复。
- 标签键:在输入框中输入标签键名称。
说明:
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。
- 标签值:在输入框中输入标签值。
说明:
标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
- 单击“确定”,完成连接创建。
- 单击“操作”>“更多”>“绑定队列”绑定对应的队列。
- (可选)创建经典型跨源连接之后,如需进行进一步的跨源分析,请参考跨源分析开发方式。
查看连接详情
在“经典型跨源”页面,选中一条连接,单击该连接对应的,可查看该条连接的详细信息。
包括:连接名称,连接地址,服务类型,连接ID,目的地址,日志详情。
当“连接状态”为“已失败”,“日志详情”显示“失败原因”。
绑定队列
方式一:
在“经典型跨源”页面,选择一条连接,单击该连接“操作”列中的“更多”>“绑定队列”,在弹出的对话框中,选择要绑定的队列(支持多选),单击“确定”。
方式二:
单击选择的连接名称,进入该连接的“ 详情”页面。单击左上角的“创建”,在弹出的对话框中,选择要绑定的队列(支持多选),单击“确定”。
解绑队列
方式一:
在“经典型跨源”页面,选择一条连接,单击该连接“操作”列中的“更多”>“解绑队列”,在弹出的对话框中,选择要解绑的队列(支持多选),单击“确定”。
方式二:
单击选择的连接名称,进入该连接的“ 详情”页面。选择要解绑的队列,单击该连接“操作”列中的“解绑队列”,在弹出的对话框中,选择要解绑的队列,单击“确定”。
标签管理
标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。
如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。
DLI支持以下两类标签:
- 资源标签:在DLI中创建的非全局的标签。
- 预定义标签:在标签管理服务(简称TMS)中创建的预定义标签,属于全局标签。有关预定义标签的更多信息,请参见《标签管理服务用户指南》。
以下介绍如何为作业添加标签、修改标签和删除标签。
- 在DLI管理控制台的左侧导航栏中,单击“跨源连接”,选择“经典型跨源”页签。
- 在对应连接的“操作”列,选择“更多”>“标签”。
- 进入标签管理页面,显示当前连接的标签信息。
- 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。标签键和标签值设置完成后,单击“添加”,将标签加入到输入框中。
表3 标签配置参数 参数
参数说明
标签键
您可以选择:
- 在输入框的下拉列表中选择预定义标签键。
如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。
具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
- 在输入框中输入标签键名称。
说明:
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。
标签值
您可以选择:
- 在输入框的下拉列表中选择预定义标签值。
- 在输入框中输入标签值。
说明:
标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
- 在输入框的下拉列表中选择预定义标签键。
- 单击“确定”。
- (可选)在标签列表中,单击“操作”列中“删除”可对选中的标签进行删除。