数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    DLI连接 更多内容
  • 配置连接参数

    配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据连接参数说明 Oracle数据连接参数说明 DLI 连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明

    来自:帮助中心

    查看更多 →

  • 开始使用

    上传驾驶行为数据文件的存储桶。 图1 OBS桶(DLI) 查看OBS桶。在控制台单击“服务列表”,选择“对象存储服务 OBS”,单击进入OBS页面。该桶将作为用户上传DLI连接RDS数据库SQL文件的存储桶。 图2 OBS桶(RDS) 查看RDS。在控制台单击“服务列表”,选择“

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移DWS数据至DLI

    一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接。具体参数配置可以参考在 CDM 上配置DLI连接。 图4 创建DLI数据源连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。

    来自:帮助中心

    查看更多 →

  • CREATE SERVER

    CREATE SERVER 功能描述 创建一个外部服务器。 外部服务器是存储HDFS集群信息、OBS服务器信息、DLI连接信息或其他同构集群信息的载体。 注意事项 默认只有系统管理员才可以创建外部服务器,否则需要对所使用的FOREIGN DATA WRAPPER授权,授权语法为:

    来自:帮助中心

    查看更多 →

  • ma-cli dli-job提交DLI Spark作业支持的命令

    表1 提交DLI Spark作业命令总览 命令 命令详情 get-job 查询DLI Spark作业列表及详情。 get-log 查询DLI Spark运行日志。 get-queue 查询DLI队列。 get-resource 查询DLI分组资源。 stop 停止DLI Spark作业。

    来自:帮助中心

    查看更多 →

  • 连接/断开连接

    连接/断开连接 描述 连接设备(例如IdeaHub) 业务流程 连接接口调用: 调用Connect接口; 处理连接回调结果。 断开接口调用: 调用Disconnect接口; 处理断开连接回调结果。 注意事项 必须在调用初始化和查询投影码后才能调用此接口。 示例代码 shareServiceController

    来自:帮助中心

    查看更多 →

  • 数据湖探索简介

    如果用户需要将云平台上的DLI服务集成到第三方系统,用于二次开发,可以使用API方式访问DLI服务。 具体操作请参见《 数据湖探索 API参考》。 JDBC DLI支持使用JDBC连接服务端进行数据查询操作。具体内容请参考《 数据湖 探索开发指南》。 Spark-submit DLI支持通过Spa

    来自:帮助中心

    查看更多 →

  • 快速操作CloudLink Board

    快速操作CloudLink Board 熟悉操作界面和唤醒 加入会议 召开会议 共享材料 会议控制 白板协作 控制摄像机 智能语音助手

    来自:帮助中心

    查看更多 →

  • DLI SDK功能矩阵

    SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关

    来自:帮助中心

    查看更多 →

  • 怎样排查DLI计费异常?

    计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业,则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据: 单击所要查看的数据库名,进入对应的“表管理”页面;

    来自:帮助中心

    查看更多 →

  • 快速操作CloudLink Board

    会议材料共享方式 观看本地投屏 点击。 图19 打开投屏界面 观看有线投屏,点击“打开”。 图20 打开有线投屏 通过有线连接共享会议材料 通过有线连接共享会议材料前请确认终端已连接材料视频源。 点击“共享材料”。再点击“共享”。 图21 共享材料 点击屏幕,再点击可编辑共享材料,并可粘贴到白板。

    来自:帮助中心

    查看更多 →

  • DLI权限管理类

    DLI权限管理类 队列引擎版本升级后,在创建表时,提示权限不足怎么办? 什么是DLI分区表的列赋权? 更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办?

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Spark作业

    使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板

    来自:帮助中心

    查看更多 →

  • CREATE SERVER

    CREATE SERVER 功能描述 创建一个外部服务器。 外部服务器是存储HDFS集群信息、OBS服务器信息、DLI连接信息或其他同构集群信息的载体。 注意事项 默认只有系统管理员才可以创建外部服务器,否则需要对所使用的FOREIGN DATA WRAPPER授权,授权语法为:

    来自:帮助中心

    查看更多 →

  • OBS授权给DLI服务

    OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project

    来自:帮助中心

    查看更多 →

  • 使用CTS审计DLI服务

    使用 CTS 审计DLI服务 通过 云审计 服务,您可以记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase

    来自:帮助中心

    查看更多 →

  • 使用AOM监控DLI服务

    使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标

    来自:帮助中心

    查看更多 →

  • 连接

    连接 接口描述 该接口用于设备发现后进行连接设备。 注意事项 连接一般需与设备发现组合使用,此时大多数入参来源于设备发现的返回值。 方法定义 /** * 连接 * @param connectInfo 连接信息 * @param callback

    来自:帮助中心

    查看更多 →

  • 配置DLI读写外部数据源数据

    配置DLI读写外部数据数据 配置DLI读写外部数据数据的操作流程 配置DLI数据源网络连通(增强型跨源连接) 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例:配置DLI与内网数据源的网络联通 典型场景示例:配置DLI 与公网网络连通

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Spark Jar作业

    ,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使

    来自:帮助中心

    查看更多 →

  • 从Kafka读取数据写入到Elasticsearch

    } } } 步骤4:创建增强型跨源连接 创建DLI连接Kafka的增强型跨源连接 在Kafka管理控制台,选择“Kafka专享版”,单击对应的Kafka名称,进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取获

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了