数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    DLI连接 更多内容
  • DLI数据源

    异构数据进行探索。更多关于 DLI 的介绍,请参见DLI产品文档。 新建DLI数据源 参考登录AstroCanvas界面中操作,登录AstroCanvas界面。 在主菜单中,选择“数据中心”。 在左侧导航栏中,选择“数据源”。 在数据源管理页面,单击“新建数据源”。 选择“DLI”,配置数据源参数。

    来自:帮助中心

    查看更多 →

  • 配置DLI目的端参数

    配置DLI目的端参数 作业中目的连接DLI连接时,即将数据导入到 数据湖探索 服务DLI)时,目的端作业参数如表1所示。 使用 CDM 服务迁移数据DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-tr

    来自:帮助中心

    查看更多 →

  • 迁移Kafka数据至DLI

    连接”,连接器类型选择“ 数据湖 探索DLI)”,单击“下一步”。 图4 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图5 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

    来自:帮助中心

    查看更多 →

  • 迁移DWS数据至DLI

    在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索DLI)”,单击“下一步”。 图3 创建DLI数据连接 配置目的端DLI数据连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

    来自:帮助中心

    查看更多 →

  • 迁移RDS数据至DLI

    配置目的端DLI数据源连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。

    来自:帮助中心

    查看更多 →

  • 迁移Hive数据至DLI

    类型选择“数据湖探索DLI)”,单击“下一步”。 图5 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图6 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制

    来自:帮助中心

    查看更多 →

  • 使用CDM迁移数据至DLI

    单击CDM集群后的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图4所示。 图4 选择连接器类型 选择“数据湖探索DLI)”后单击“下一步”,配置DLI连接的参数。 单击“显示高级属性”可查看更多可选参数,具体请参见配置DLI连接。这里保持默认,必填参数如表2所示。

    来自:帮助中心

    查看更多 →

  • OBS / HDFS / DLI

    错误码: permission denied to change owner of foreign-data wrapper %s. 解决方案:必须是系统管理员才能更改外部数据包装器的owner。 level: ERROR GS_138150049 错误码: permission

    来自:帮助中心

    查看更多 →

  • DLI SDK

    DLI SDK DLI SDK功能矩阵 DLI SDK与API的对应关系

    来自:帮助中心

    查看更多 →

  • DLI API类

    DLI API类 如何获取AK/SK? 如何获取项目ID? 提交SQL作业时,返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?

    来自:帮助中心

    查看更多 →

  • DLI Flink Job

    DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否

    来自:帮助中心

    查看更多 →

  • DLI委托概述

    EW中,如需允许DLI在执行作业时访问DEW数据,需要提供IAM委托将DEW数据操作权限委托给DLI,允许DLI服务以您的身份访问DEW服务。 图1 DLI服务委托 DLI委托 在使用DLI前,为了确保正常使用DLI的功能,建议先进行DLI委托权限设置。 DLI默认提供以下类型

    来自:帮助中心

    查看更多 →

  • 怎样配置DLI队列与数据源的网络连通?

    怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接 MRS 、RDS、 CSS 、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通

    来自:帮助中心

    查看更多 →

  • 配置DLI目的端参数

    配置DLI目的端参数 作业中目的连接DLI连接时,即将数据导入到数据湖探索服务DLI)时,目的端作业参数如表1所示。 使用CDM服务迁移数据DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-tr

    来自:帮助中心

    查看更多 →

  • 快速配置CloudLink Box/CloudLink Bar

    快速配置CloudLink Box/CloudLink Bar 通过IWB快速配置 通过Web界面快速配置 通过Touch快速配置

    来自:帮助中心

    查看更多 →

  • 快速配置CloudLink Box/CloudLink Bar

    快速配置CloudLink Box/CloudLink Bar 通过Web界面快速配置 通过Touch快速配置 父主题: 管理专业会议终端

    来自:帮助中心

    查看更多 →

  • DLI SDK简介

    SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。 DLI SDK(

    来自:帮助中心

    查看更多 →

  • 创建DLI表

    创建DLI表 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 父主题: 表相关

    来自:帮助中心

    查看更多 →

  • 创建DLI表

    创建DLI表 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 父主题: Spark SQL语法参考(即将下线)

    来自:帮助中心

    查看更多 →

  • 创建DLI脱敏任务

    组成。 数据源选择 选择数据来源。仅支持“DLI”。 数据源 如果没有可使用的数据库实例,可单击“添加云数据库”,添加大数据资产,具体的操作可参见授权大数据资产。 数据库实例:选择脱敏数据所在的数据库实例。 数据库名:选择需要脱敏的数据库。 数据表名:选择需要脱敏的数据表。 说明:

    来自:帮助中心

    查看更多 →

  • DLI资源配额类

    DLI资源配额类 什么是用户配额? 怎样查看我的配额 如何申请扩大配额

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了