文档首页/ 数据湖探索 DLI/ 产品介绍/ 与其他云服务的关系
更新时间:2024-12-04 GMT+08:00
分享

与其他云服务的关系

与对象存储服务(OBS)的关系

对象存储服务(Object Storage Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。

  • 数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。

    具体API请参考《导入数据》。

  • 存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。

    创建OBS表的SQL语法请参考《使用DataSource语法创建OBS表》和《使用Hive语法创建OBS表》。

  • 备份数据:使用DLI提供导出API,将DLI的数据导出到OBS中备份。

    具体API请参考《导出数据》。

  • 存储查询结果:DLI提供API供用户将日常作业的查询结果数据保存到OBS。

    具体API请参考《导出查询结果》。

与统一身份认证服务(IAM)的关系

统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。

具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。

与云审计服务(CTS)的关系

云审计服务(Cloud Trace Service)为DLI提供对应用户的操作审计。

云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。

与云监控服务(CES)的关系

云监控(Cloud Eye)为DLI提供监控数据,监控作业中的多项指标,从而集中高效地呈现状态信息。

具体指标请参考《数据湖探索监控指标说明》。

与消息通知服务(SMN)的关系

消息通知服务(Simple Message Notification)可以在DLI发生作业运行异常时给用户发送通知。

具体操作请参考《创建消息通知主题》。

与表格存储服务(CloudTable)的关系

表格存储服务(CloudTable Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

  • 数据来源:DLI服务提供DataFrame和SQL方式从CloudTable中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。

通过DLI跨源连接访问CloudTable数据请参考《跨源分析开发方式参考》。

与关系型数据库服务(RDS)的关系

关系型数据库(Relational Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
  • 数据来源:DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。

通过DLI跨源连接访问RDS数据请参考《跨源分析开发方式参考》。

与数据仓库服务(DWS)的关系

数据仓库服务(Data Warehouse Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。
  • 数据来源:DLI服务提供DataFrame和SQL方式从DWS中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DWS表中。

通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。

与云搜索服务(CSS)的关系

云搜索服务(Cloud Search Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

  • 数据来源:DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CSS表中。

通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。

与分布式缓存服务(DCS)的关系

分布式缓存服务(Distributed Cache Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

  • 数据来源:DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。

通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。

与文档数据库服务(DDS)的关系

文档数据库服务(Document Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

  • 数据来源:DLI服务提供DataFrame和SQL方式从DDS中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。

通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。

与MapReduce服务(MRS)的关系

MapReduce服务(MapReduce Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

  • 数据来源:DLI服务提供DataFrame和SQL方式从MRS中导入数据到DLI。
  • 存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到MRS表中。

通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。

与数据治理中心(DataArts Studio)的关系

在数据治理中心DataArts Studio中,数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

  • 通过数据治理中心的DLI SQL节点传递SQL语句到DLI中执行,请参考《DLI SQL》。
  • 通过数据治理中心的DLI Flink Job节点执行一个预先定义的DLI作业,请参考《DLI Flink Job》。
  • 通过数据治理中心的DLI Spark节点执行一个预先定义的Spark作业,请参考《DLI Spark》。

相关文档