数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    华为 数据湖 dli 更多内容
  • OBS / HDFS / DLI

    错误码: permission denied to change owner of foreign-data wrapper %s. 解决方案:必须是系统管理员才能更改外部数据包装器的owner。 level: ERROR GS_138150049 错误码: permission

    来自:帮助中心

    查看更多 →

  • DLI SDK

    DLI SDK DLI SDK功能矩阵 DLI SDK与API的对应关系

    来自:帮助中心

    查看更多 →

  • DLI委托概述

    EW中,如需允许DLI在执行作业时访问DEW数据,需要提供IAM委托将DEW数据操作权限委托给DLI,允许DLI服务以您的身份访问DEW服务。 图1 DLI服务委托 DLI委托 在使用DLI前,为了确保正常使用DLI的功能,建议先进行DLI委托权限设置。 DLI默认提供以下类型

    来自:帮助中心

    查看更多 →

  • DLI Flink Job

    DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否

    来自:帮助中心

    查看更多 →

  • 使用DLI Flink作业实时同步Kafka数据至(GaussDB)DWS集群

    首先,通过Kafka生产以下三组数据,通过DLI Flink作业完成数据同步到数据仓库服务 GaussDB (DWS)。接着,需要修改id为2和3的用户为新的jim和tom,再通过DLI Flink作业完成数据的更新并同步到GaussDB(DWS)。 表1 样例数据 id name age

    来自:帮助中心

    查看更多 →

  • 新建DataArts Studio与DWS数据湖的连接

    创建数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。

    来自:帮助中心

    查看更多 →

  • 创建并提交SQL作业

    行。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 您可以在DLI中创建并管理多个Catalog,用于不同的元数据隔离。 数据库 下拉选择需要使用的数据库。如果没有可用数据库,此处显示“default”默认数据库。数据库创建操作详见在DLI控制台创建数据库和表。

    来自:帮助中心

    查看更多 →

  • scala样例代码

    表名"。 说明: 如果数据库和表不存在,请先创建数据库和表,否则系统会报错并且运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。 driver jdbc驱动类名,访问MySQL集群请填写:"com.mysql.jdbc.Driver",访问PostGre集群请填写:"org

    来自:帮助中心

    查看更多 →

  • 快速卸载

    卸载解决方案前,请先确保OBS桶中无数据,否则解决方案将卸载失败。 删除DLI数据库。登录 数据湖探索 DLI 库表管理控制台,依次单击“更多”“删除数据库”在弹出的确认窗口中,单击“是”。 图1 删除DLI数据库 图2 确认删除 解决方案部署成功后,登录 资源编排 服务 RFS ,进入“资源栈”,

    来自:帮助中心

    查看更多 →

  • 分析数据

    CARBON类型。 如果原始数据表存储格式不满足要求,您可以通过 CDM 将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入 数据湖 探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。

    来自:帮助中心

    查看更多 →

  • scala样例代码

    其中以下参数需要修改为实际值: “username”为创建的mongo(DDS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。 “db”为创建的mongo(DDS)数据库名称。 mongo(DDS)数据库用户创建详见:创建DDS数据库账户。

    来自:帮助中心

    查看更多 →

  • DataArts Studio支持连接哪些数据源?

    Studio对接数据源,即为通过管理中心创建数据源的数据连接。 DataArts Studio 管理中心数据连接与数据集成数据连接相互独立,使用场景各有不同。 管理中心的数据连接用于对接数据湖底座,DataArts Studio基于数据湖底座,提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使

    来自:帮助中心

    查看更多 →

  • 转储至DLI

    单击“选择”,在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择,不可手动输入。 - DLI数据表 单击“选择”,在“选择DLI数据表”窗口选择一个数据表。仅支持数据位置为DLI类型的数据表,且用户需具有该表的插入权限。 此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI 数据库”。

    来自:帮助中心

    查看更多 →

  • DLI请求条件

    务缩写,如dli)仅适用于对应服务的操作。运算符与条件键一起使用,构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time

    来自:帮助中心

    查看更多 →

  • 使用DLI运行几万个作业,如何管理?

    使用DLI运行几万个作业,如何管理? 用户需要使用DLI运行几万个作业,建议如下: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。具体请参考《数据湖探索用户指南》。 父主题: 作业管理

    来自:帮助中心

    查看更多 →

  • 查看DLI队列负载

    查看DLI队列负载 场景概述 如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3

    来自:帮助中心

    查看更多 →

  • 分析数据

    CARBON类型。 如果原始数据表存储格式不满足要求,您可以通过CDM将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。

    来自:帮助中心

    查看更多 →

  • 计费相关问题

    计费相关问题 DLI的计费模式有哪些? 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗? 数据湖队列什么情况下是空闲状态? 怎样排查DLI计费异常? 已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费?

    来自:帮助中心

    查看更多 →

  • 云服务故障

    重启云数据库GaussDB实例 - 分布式缓存服务 D CS 分布式缓存服务主备切换 重启分布式缓存服务实例 - 云搜索 服务 CSS 重启云搜索服务集群 - 数据湖探索 DLI 重启数据湖探索队列 force;stop_job 扩容数据湖探索队列 cu_count; 缩容数据湖探索队列

    来自:帮助中心

    查看更多 →

  • MRS HBase输出流

    功能描述 DLI将Flink作业的输出数据输出到 MRS 的HBase中。 前提条件 确保您的账户下已在MapReduce服务(MRS)里创建了您配置的集群。DLI支持与开启kerberos的hbase集群对接。 该场景作业需要运行在DLI的独享队列上,请确保已创建DLI独享队列。

    来自:帮助中心

    查看更多 →

  • 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群

    DOUBLE PRECISION ); 查询数据,当前为空表。 1 SELECT * FROM dws_data.dws_order; 步骤三:创建DLI队列 登录华为云控制台,服务列表选择“大数据 > 数据湖探索DLI”,进入DLI管理控制台。 左侧导航栏选择“资源管理 >

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了