数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    dli服务 更多内容
  • OBS授权给DLI服务

    OBS授权给 DLI 服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式 POST /v1.0/{project

    来自:帮助中心

    查看更多 →

  • 使用AOM监控DLI服务

    使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标

    来自:帮助中心

    查看更多 →

  • 使用CTS审计DLI服务

    使用 CTS 审计DLI服务 通过 云审计 服务,您可以记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase

    来自:帮助中心

    查看更多 →

  • OBS数据迁移到DLI服务

    OBS数据迁移到DLI服务 操作场景 数据湖探索 (Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用 CDM 将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。

    来自:帮助中心

    查看更多 →

  • 使用CES监控DLI服务

    使用CES监控DLI服务 功能说明 本章节定义了 数据湖 探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过 云监控服务 提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标

    来自:帮助中心

    查看更多 →

  • OBS数据迁移到DLI服务

    OBS数据迁移到DLI服务 操作场景 数据湖探索(Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。

    来自:帮助中心

    查看更多 →

  • OBS数据迁移到DLI服务

    OBS数据迁移到DLI服务 操作场景 数据湖探索(Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。

    来自:帮助中心

    查看更多 →

  • MRS是否支持对DLI服务的业务表进行读写操作?

    MRS 是否支持对DLI服务的业务表进行读写操作? 问: MRS是否支持对DLI服务的业务表进行读写操作? 答: 如果数据存放在OBS上,则支持使用MRS服务中的Spark读取DLI表,对表数据进行灵活处理,结果存入另一张DLI表。 如果数据不存放在OBS上,则不支持。 父主题: 周边生态对接类

    来自:帮助中心

    查看更多 →

  • DLI SDK简介

    Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI

    来自:帮助中心

    查看更多 →

  • 数据迁移失败,提示超过DLI网管流控上限

    throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。 父主题: 大数据数据迁移

    来自:帮助中心

    查看更多 →

  • DLI连接

    String 登录DLI数据库的SK。 linkConfig.region 是 String DLI服务所在的区域。 linkConfig.projectId 是 String DLI服务的项目ID。 父主题: 连接参数说明

    来自:帮助中心

    查看更多 →

  • DLI连接

    String 登录DLI数据库的SK。 linkConfig.region 是 String DLI服务所在的区域。 linkConfig.projectId 是 String DLI服务的项目ID。 父主题: 连接参数说明

    来自:帮助中心

    查看更多 →

  • 存储计费

    存储计费 DLI数据存储计费模式 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表。支持以下计费模式: 按需计费:按需计费是一种后付费模式,DLI支持使用按需计费模式购买数据存储。按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。计费方式自创建起按自然

    来自:帮助中心

    查看更多 →

  • DLI作业开发流程

    情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。 使用CTS审计DLI服务 通过云审计服务,您可以记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。了解更多审计支持列表请参考使用CTS审计DLI服务

    来自:帮助中心

    查看更多 →

  • 使用Spark-submit提交Spark Jar作业

    程序会自动将Spark程序依赖到的相关文件上传的OBS路径,并加载到DLI服务端资源包。 ak 是 - 用户的Access Key。 sk 是 - 用户的Secret Key。 projectId 是 - 用户访问的DLI服务使用的项目编号。 region 是 - 对接的DLI服务的Region。 根据Spark应

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。 数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。 存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。 创建OBS表的S

    来自:帮助中心

    查看更多 →

  • DLI委托概述

    限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在数据加密服务DEW中,如需允许DLI在执行作业时访问DEW数据,需要提供IAM委托将DEW数据操作权限委托给DLI,允许DLI服务以您的身份访问DEW服务。

    来自:帮助中心

    查看更多 →

  • 步骤3:服务退订

    ts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务数据管理中删除相关数据。 SMN SMN计费说明 SMN服务按实际用量付费,退订DataArts

    来自:帮助中心

    查看更多 →

  • DLI自定义策略

    col DLI服务,指定region,账号ID为xxx,数据库名为db,表名为tb,列名为col的资源。 DLI:*:*:queue:queues.* DLI服务,任意region,任意账号ID下,任意队列资源。 DLI:*:*:jobs:jobs.flink.1 DLI服务,任意

    来自:帮助中心

    查看更多 →

  • 权限管理概述

    因为“大数据平台组”需要使用DLI进行数据分析,所有“基础平台组组长”增加了一个权限为“DLI服务管理员”(DLI Service Administrator)的子账号用于管理和使用DLI服务。“基础平台组组长”按照公司两个业务对于数据分析的要求,创建了“队列A”分配给“数据工程

    来自:帮助中心

    查看更多 →

  • 增强型跨源连接权限管理

    项目B需要访问项目A上的数据源,对应操作如下。 对于项目A: 使用项目A对应的账号登录DLI服务。 通过对应数据源的VPC信息在DLI服务中创建增强型跨源连接“ds”。 将增强型跨源连接“ds”授权给项目B。 对于项目B: 使用项目B对应的账号登录DLI服务。 对增强型跨源连接“ds”进行绑定队列操作。 (可选)设置主机信息,创建路由。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了