与其他云服务的关系
与对象存储服务(OBS)的关系
对象存储服务(Object Storage Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。
- 数据来源:DLI服务提供API,支持将OBS对应路径的数据导入到DLI。具体API请参考《导入数据》。
- 存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。创建OBS表的SQL语法请参考《使用DataSource语法创建OBS表》和《使用Hive语法创建OBS表》。
- 备份数据:DLI提供导出API,支持将DLI的数据导出到OBS中备份。具体API请参考《导出数据》。
- 存储查询结果:DLI提供API供用户将日常作业的查询结果数据保存到OBS。具体API请参考《导出查询结果》。
与统一身份认证服务(IAM)的关系
统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。
相关操作请参考《创建用户并授权使用DLI》《DLI自定义策略》。
与消息通知服务(SMN)的关系
消息通知服务(Simple Message Notification)可以在DLI发生作业运行异常时给用户发送通知。如果使用已创建的SMN主题时,提示SMN主题不存在,请参考《DLI使用SMN主题,提示SMN主题不存在,怎么处理?》。
与云数据迁移服务(CDM)的关系
云数据迁移服务(Cloud Data Migration)可以将OBS的数据迁移到DLI中。具体请参考《通过CDM导入数据》。
与数据接入服务(DIS)的关系
数据接入服务(Data Ingestion Service)通过通道将数据导入到DLI。具体请参考《通过DIS导入数据》。
与表格存储服务的关系
表格存储服务(CloudTable Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
- 数据来源:DLI服务提供DataFrame和SQL方式从CloudTable中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。
通过DLI跨源连接访问CloudTable数据请参考《跨源分析开发方式参考》。
与关系型数据库服务(RDS)的关系
- 数据来源:DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。
通过DLI跨源连接访问RDS数据请参考《跨源分析开发方式参考》。
与数据仓库服务(DWS)的关系
- 数据来源:DLI服务提供DataFrame和SQL方式从DWS中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DWS表中。
通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。
与云搜索服务(CSS)的关系
云搜索服务(Cloud Search Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
- 数据来源:DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CSS表中。
通过DLI跨源连接访问CSS数据请参考《跨源分析开发方式参考》。
与分布式缓存服务(DCS)的关系
分布式缓存服务(Distributed Cache Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
- 数据来源:DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。
通过DLI跨源连接访问DCS数据请参考《跨源分析开发方式参考》。
与文档数据库服务(DDS)的关系
文档数据库服务(Document Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
- 数据来源:DLI服务提供DataFrame和SQL方式从DDS中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。
通过DLI跨源连接访问DDS数据请参考《跨源分析开发方式参考》。
与MapReduce服务(MRS)的关系
MapReduce服务(MapReduce Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
- 数据来源:DLI服务提供DataFrame和SQL方式从MRS中导入数据到DLI。
- 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到MRS表中。
通过DLI跨源连接访问MRS数据请参考《跨源分析开发方式参考》。
与数据湖治理中心(DGC)的关系
在数据湖治理中心DGC(Data Lake Governance Center )中,数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
- 通过DGC数据开发中的DLI SQL节点传递SQL语句到DLI中执行,请参考《DLI SQL》。
- 通过DGC数据开发中的DLI Flink Job节点执行一个预先定义的DLI作业,请参考《DLI Flink Job》。
- 通过DGC数据开发中的DLI Spark节点执行一个预先定义的Spark作业,请参考《DLI Spark》。
