数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    DLI连接 更多内容
  • 连接参数说明

    连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/ 云搜索服务 ( CSS )连接 DLI 连接 CloudTable

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Kafka数据至DLI

    连接”,连接器类型选择“ 数据湖探索 DLI)”,单击“下一步”。 图4 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在 CDM 上配置DLI连接。 图5 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

    来自:帮助中心

    查看更多 →

  • 将OBS数据导入至DLI

    。 前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 在管理控制台的左侧,选择“数据管理”>“库表管理”。 单击需导入数据的表对应的数据库名称,进入该数据库的“表管理”页面。 在

    来自:帮助中心

    查看更多 →

  • 使用CES监控DLI服务

    使用CES监控DLI服务 功能说明 本章节定义了 数据湖 探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标

    来自:帮助中心

    查看更多 →

  • 配置DLI与数据源网络连通(增强型跨源连接)

    配置DLI数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题: 配置DLI读写外部数据数据

    来自:帮助中心

    查看更多 →

  • 快速操作CloudLink Board

    快速操作CloudLink Board 熟悉操作界面和唤醒 加入会议 召开会议 共享材料 会议控制 白板协作 控制摄像机 智能语音助手

    来自:帮助中心

    查看更多 →

  • DLI SDK功能矩阵

    SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关

    来自:帮助中心

    查看更多 →

  • 怎样排查DLI计费异常?

    计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业,则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据: 单击所要查看的数据库名,进入对应的“表管理”页面;

    来自:帮助中心

    查看更多 →

  • 快速操作CloudLink Board

    会议材料共享方式 观看本地投屏 点击。 图19 打开投屏界面 观看有线投屏,点击“打开”。 图20 打开有线投屏 通过有线连接共享会议材料 通过有线连接共享会议材料前请确认终端已连接材料视频源。 点击“共享材料”。再点击“共享”。 图21 共享材料 点击屏幕,再点击可编辑共享材料,并可粘贴到白板。

    来自:帮助中心

    查看更多 →

  • DLI权限管理类

    DLI权限管理类 队列引擎版本升级后,在创建表时,提示权限不足怎么办? 什么是DLI分区表的列赋权? 更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办?

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Spark作业

    使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移RDS数据至DLI

    配置目的端DLI数据源连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。

    来自:帮助中心

    查看更多 →

  • 查询连接

    ector:DIS连接。elasticsearch-connector:Elasticsearch/ 云搜索 服务连接dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接。

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Hive数据至DLI

    类型选择“数据湖探索DLI)”,单击“下一步”。 图5 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图6 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制

    来自:帮助中心

    查看更多 →

  • OBS授权给DLI服务

    OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project

    来自:帮助中心

    查看更多 →

  • 使用CTS审计DLI服务

    使用 CTS 审计DLI服务 通过 云审计 服务,您可以记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase

    来自:帮助中心

    查看更多 →

  • 配置连接参数

    配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库 服务(DWS)连接参数说明 云数据库MySQL /MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明

    来自:帮助中心

    查看更多 →

  • 接入DLI数据源

    接入DLI数据源 DataArts Insight支持连接DLI数据源。本文为您介绍如何在DataArts Insight上添加DLI数据源的操作步骤。 接入DLI数据源步骤 登录智能数据洞察控制台。 单击管理控制台左上角的,选择区域。 单击左下角的企业项目选择企业项目。 选择需

    来自:帮助中心

    查看更多 →

  • 怎样查看DLI SQL日志?

    怎样查看DLI SQL日志? 场景概述 日常运维时需要查看DLI SQL日志。 操作步骤 在 DataArts Studio 控制台获取DataArts Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台,选择“作业管理”>“SQL作业”。

    来自:帮助中心

    查看更多 →

  • 目的端为DLI

    toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

    来自:帮助中心

    查看更多 →

  • 目的端为DLI

    toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了