数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖图标 更多内容
  • 数据权限概述

    数据权限概述 数据湖 权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFo

    来自:帮助中心

    查看更多 →

  • 调用说明

    调用说明 数据湖探索提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见构造请求。 DLI API中除特殊说明外,通常为同步操作,即响应消息中的“is_success”为请求是否执行成功。 若AP

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 湖仓构建 LakeFormation

    LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与 MRS 集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 方案概述

    且账号不能处于欠费或冻结状态。 第一次使用数据湖数据湖 DLI时需要登录DLI控制台,如果使用IAM子账户部署该解决方案,请参考部署指南确保该账号已经有DLI的相关授权,第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 监控安全风险

    率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过 云监控服务 提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的监控指标请参见数据湖探索监控指标说明及查看指导。 父主题: 安全

    来自:帮助中心

    查看更多 →

  • 开通相关资源

    前,您需要开通数据湖探索(Data Lake Insight,简称DLI)来创建集群。 DLI服务 登录华为云。在华为云“EI企业智能”页签,选择“大数据>数据湖探索DLI”,进入DLI产品页。单击“进入控制台”,授权开始使用DLI。更多关于服务的操作请参见《数据湖探索用户指南》。

    来自:帮助中心

    查看更多 →

  • CDM与其他数据迁移服务有什么区别,如何选择?

    务。 CDM 围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。更多详情请参见 云数据迁移 服务。 CDM进行数据迁移时,目标端为数据湖或其他大数据系统;源端可以是数据库也可以是对象存储。

    来自:帮助中心

    查看更多 →

  • 企业项目支持的资源类型

    增强型负载均衡器控制台上的负载均衡器的ID DLI 数据湖探索数据库 dli-data-database 数据湖探索服务控制台上的数据库ID 数据湖探索集群 dli-cuh-cluster 数据湖探索服务控制台上的集群ID 数据湖探索队列 dli-cuh-queue 数据湖探索服务控制台上的队列ID CDM

    来自:帮助中心

    查看更多 →

  • CDM与其他数据迁移服务有什么区别,如何选择?

    务。CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时,目标端为数据湖或其他大数据系统;源端可以是数据库也可以是对象存储。

    来自:帮助中心

    查看更多 →

  • DLI细粒度授权

    Administrator 租户管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。 作用范围:项目级服务。 系统角色 无 DLI Service Administrator 数据湖探索管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    IT数采集成实施 套 OT数采集成实施 套 数据使能方案设计 数据湖治理方案设计-基础包 套 数据湖治理方案设计-增量包 套 ITOT融合方案设计 套 数智融合方案设计 套 数据使能方案实施 数据湖治理方案实施-基础包 套 数据湖治理方案实施-增量包 套 ITOT融合方案实施 套 数智融合方案实施

    来自:帮助中心

    查看更多 →

  • 方案概述

    CDM:高效、易用的批量/增量数据迁移和同步服务,提供了40+数据源到数据湖仓的集成能力; 数据治理中心 DataArts Studio :提供数据标准和数据模型的规范设计,以及数据分析流程的在线开发、任务编排调度等的一站式 数据治理 能力; 数据湖探索服务 DLI:是一个完全兼容Spark、FLink

    来自:帮助中心

    查看更多 →

  • java样例代码

    testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user

    来自:帮助中心

    查看更多 →

  • 咨询与计费

    咨询与计费 区域和可用区如何选择? 数据库、 数据仓库 数据湖与华为智能数据湖方案是什么,有哪些区别和联系? DataArts Studio和沃土是什么关系? DataArts Studio和ROMA有什么差异? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略?

    来自:帮助中心

    查看更多 →

  • 多源数据目录

    多源数据目录 概述 Hive 父主题: 数据湖分析

    来自:帮助中心

    查看更多 →

  • 附录 背景信息

    类别 步骤 实施说明 数据地图平台 开发实施 信息架构集成:从DGC获取五层信息架构,通过云服务配置同步到数据地图。 数据湖资产同步:根据数据湖数据集成方案,同步数据湖中已有数据。 数据血缘关系导入:以搜集到的数据链路为输入,导入到数据地图。 API资产管理:采集和维护API资产,并进行配置展现。

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    将写好的python代码文件上传至DLI中。控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 什么是数据治理中心DataArts Studio

    产品架构如图1所示。 图1 产品架构 如图所示,DataArts Studio基于数据湖底座,提供数据集成、开发、治理等能力。DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了