数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    dli服务 更多内容
  • 监控安全风险

    云监控服务 为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI 服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮助用户监控账号下的DLI队列,执行自

    来自:帮助中心

    查看更多 →

  • 从DWS导入数据到ModelArts数据集

    用户名:输入DWS集群管理员用户的用户名。 密码:输入DWS集群管理员用户的密码。 从DWS导入数据,需要借助DLI的功能,如果用户没有访问DLI服务的权限,需根据页面提示创建DLI的委托。 父主题: 导入数据到ModelArts数据集

    来自:帮助中心

    查看更多 →

  • 字符码不一致导致数据乱码怎么办?

    字符码不一致导致数据乱码怎么办? 在DLI执行作业时,为了避免因字符编码不一致导致的乱码问题,建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式,因此在执行创建表和导入操作时,用户的数据需要以UTF-8编码。 在将数据导入DLI之前,确保源数据文件(如 CS V、JSO

    来自:帮助中心

    查看更多 →

  • Flink Jar 包冲突,导致作业提交失败

    Flink平台的内置依赖包冲突,导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包,用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包,则会提示Flink Jar

    来自:帮助中心

    查看更多 →

  • 周边生态对接类

    周边生态对接类 MRS 是否支持对DLI服务的业务表进行读写操作? OBS是否支持ListObjectsV2协议? MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到 CSS 为什么没有映射字段?

    来自:帮助中心

    查看更多 →

  • 数据湖探索简介

    DBC客户端连接DLI服务端。 管理控制台方式 提交SQL作业、Spark作业或Flink作业,均可以使用管理控制台方式访问DLI服务。 登录管理控制台,从主页选择“EI企业智能”>“EI大数据”>“ 数据湖探索 ”。 API方式 如果用户需要将云平台上的DLI服务集成到第三方系统,

    来自:帮助中心

    查看更多 →

  • SDK获取与安装

    ion>.zip”解压目录下的windows目录。例如:“D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK,安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图1所示。 图1 安装Python

    来自:帮助中心

    查看更多 →

  • DLI的数据可存储在哪些地方

    DLI的数据可存储在哪些地方 DLI支持存储哪些格式的数据? DLI支持如下数据格式: Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方? OBS:SQL作业,Spark作业,Flink作业使用的数据均可以存储在OBS服务中,降低存储成本。 DLI

    来自:帮助中心

    查看更多 →

  • CREATE EXTERNAL SCHEMA

    RET_ACCESS_KEY是云账号体系访问DLI服务的密钥。请根据实际替换。 TYPE表示创建的Server为DLI Server。请保持DLI取值不变。 创建external schema,SOURCE为dli,表关联的DLI服务器为dli_server。其中project_

    来自:帮助中心

    查看更多 →

  • 创建目的端云服务连接

    进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 DLI服务参数配置说明 CloudTable(ClickHouse)服务参数配置说明 CloudTable(HBase)服务参数配置说明 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默

    来自:帮助中心

    查看更多 →

  • 创建跨源连接

    在使用DLI进行推荐系统的离线和近线计算时,建议创建跨源连接,用于访问CloudTable的数据源,提高读写性能。 前提条件 已开通计算引擎DLI服务,创建集群并完成资源绑定。 创建跨源链接 DLI集群绑定完成后,创建跨源链接。步骤如下: 登录RES管理控制台,在“资源中心”页面,选择计算引擎DLI进入列表。

    来自:帮助中心

    查看更多 →

  • 创建数据库

    “default”为内置数据库,不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器

    来自:帮助中心

    查看更多 →

  • DLI请求条件

    如dli)仅适用于对应服务的操作。运算符与条件键一起使用,构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。

    来自:帮助中心

    查看更多 →

  • (推荐)DLI SDK V3

    (推荐)DLI SDK V3 写作说明 本文介绍了DLI服务提供的V3版本的SDK,列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址

    来自:帮助中心

    查看更多 →

  • 审计与日志

    节。 CTS 支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DLI服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。 DLI的作业日志 在创建DLI作业时,

    来自:帮助中心

    查看更多 →

  • DLI对接AOM Prometheus监控的配置项

    dli-job-name 否 None String - 为指标加上当前作业的DLI Flink作业名称作为标签。 父主题: 使用AOM监控DLI服务

    来自:帮助中心

    查看更多 →

  • DLI的计费模式有哪些?

    计算费用=单价*CU数*小时数 CU时套餐包 DLI提供了弹性资源池CU时套餐包。 CU时套餐包的额度会按订购周期重置。 DLI表的数据存储 按需计费 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 存储费用=单价*存储数据量(GB)*小时数 存储套餐包 购买了存储量套餐包,按需使用过程

    来自:帮助中心

    查看更多 →

  • DWS Connector概述

    Connector。自定义函数操作请参考自定义函数。 DWS-Connector的使用方法请参考dws-connector-flink。 (废弃,不推荐使用)DLI服务的DWS Connector:支持自定义sink和source函数,允许用户根据具体需求实现相应的sink或source函数,以实现特定的数据读写逻辑。

    来自:帮助中心

    查看更多 →

  • 开通相关资源

    delarts服务提供并收费。在使用推荐系统之前,您需要开通 数据湖 探索(Data Lake Insight,简称DLI)来创建集群。 DLI服务 登录华为云。在华为云“产品”页签,选择“大数据>数据湖探索DLI”,进入DLI产品页。单击“进入控制台”,授权开始使用DLI。 ModelArts服务

    来自:帮助中心

    查看更多 →

  • 基本概念

    源池内的不同队列资源可以共享,并可以根据队列资源负载配置策略进行分时弹性扩缩容,满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源,用于存储数据库和DLI表,是向DLI导入数据的必备条件,体现用户数据存储在DLI中的数据量。 弹性资源池的实际CUs、已

    来自:帮助中心

    查看更多 →

  • 创建数据库

    “default”为内置数据库,不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了