数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    DLI连接 更多内容
  • 创建DLI委托(废弃)

    具体含义如下: obs_adm: DLI 获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable( 表格存储 服务)的CloudTable Administrator权限。

    来自:帮助中心

    查看更多 →

  • DLI产品咨询类

    DLI产品咨询类 DLI Flink与 MRS Flink有什么区别? DLI中的Spark组件与MRS中的Spark组件有什么区别? 怎样升级DLI作业的引擎版本 DLI数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据? 区域和可用区 全局变量的使用中,一个子

    来自:帮助中心

    查看更多 →

  • DLI常用管理操作

    DLI常用管理操作 使用 自定义镜像 增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额

    来自:帮助中心

    查看更多 →

  • DLI对接LakeFormation

    DLI暂不支持使用LakeFormation行过滤条件功能。 DLI读取binary类型的数据进行console展示时,会对binary数据进行Base64转换。 在DLI暂不支持LakeFormation的路径授权。 DLI Spark Jar: 本节介绍在DLI管理控制台提交Spark Jar作业时

    来自:帮助中心

    查看更多 →

  • 快速配置CloudLink Box/CloudLink Bar

    快速配置CloudLink Box/CloudLink Bar 通过IWB快速配置 通过Web界面快速配置 通过Touch快速配置

    来自:帮助中心

    查看更多 →

  • 快速配置CloudLink Box/CloudLink Bar

    快速配置CloudLink Box/CloudLink Bar 通过Web界面快速配置 通过Touch快速配置 父主题: 管理专业会议终端

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移RDS数据至DLI

    配置目的端DLI数据源连接。具体参数配置可以参考在 CDM 上配置DLI连接。 图4 创建DLI数据连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。

    来自:帮助中心

    查看更多 →

  • DLI跨源连接报错找不到子网怎么办?

    的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency

    来自:帮助中心

    查看更多 →

  • DLI增强型跨源连接DWS失败怎么办?

    DLI增强型跨源连接DWS失败怎么办? 问题现象 客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下:

    来自:帮助中心

    查看更多 →

  • 建立DLI与共享VPC中资源的网络连接

    测试地址连通性”。 输入数据连接地址和端口,测试网络连通性。 若地址可达,说明账号B已建立DLI资源与共享VPC中的资源的网络连接,账号B可以使用DLI弹性资源池的队列提交作业访问共享VPC中的资源。 父主题: 配置DLI数据源网络连通(增强型跨源连接

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Hive数据至DLI

    类型选择“ 数据湖探索 DLI)”,单击“下一步”。 图5 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图6 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制

    来自:帮助中心

    查看更多 →

  • ma-cli dli-job提交DLI Spark作业支持的命令

    表1 提交DLI Spark作业命令总览 命令 命令详情 get-job 查询DLI Spark作业列表及详情。 get-log 查询DLI Spark运行日志。 get-queue 查询DLI队列。 get-resource 查询DLI分组资源。 stop 停止DLI Spark作业。

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Elasticsearch数据至DLI

    在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“ 数据湖 探索DLI)”,单击“下一步”。 图3 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图4 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据

    步骤5:创建DLI连接Kafka的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与Kafka实例的网络连通。 步骤6:创建DLI连接RDS的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托

    来自:帮助中心

    查看更多 →

  • 连接参数说明

    连接参数说明 关系数据连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/ 云搜索 服务( CSS )连接 DLI连接 DMS Kafka连接

    来自:帮助中心

    查看更多 →

  • 添加DLI转储任务

    最早的数据。 缺省值:LATEST 枚举值: LATEST TRIM_HORIZON dli_database_name 是 String 存储该通道数据DLI数据库名称。 dli_table_name 是 String 存储该通道数据DLI表名称。 说明: 仅支持数据位置为

    来自:帮助中心

    查看更多 →

  • DLI Hudi开发规范

    DLI Hudi开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例

    来自:帮助中心

    查看更多 →

  • 配置DLI作业桶

    配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推

    来自:帮助中心

    查看更多 →

  • 日志转储至DLI

    日志已接入云日志服务(LTS)。 日志流已配置结构化规则。 已在DLI中创建数据库和表,创建数据库表时数据位置选择OBS,数据格式选择JSON。详细操作请参见创建数据库和表。 已在DLI中创建队列,该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。 日志转储至DLI 登录云日志服务控制台,在左侧导航栏中选择“日志转储

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Spark Jar作业

    ,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Kafka数据至DLI

    连接”,连接器类型选择“数据湖探索DLI)”,单击“下一步”。 图4 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图5 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了