数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖 元数据管理 更多内容
  • 管理中心典型场景教程

    管理中心典型场景教程 新建 DataArts Studio MRS Hive 数据湖 的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题: 管理中心

    来自:帮助中心

    查看更多 →

  • java样例代码

    将写好的代码文件生成jar包,上传至 DLI 中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 新建DLI数据连接

    首次创建DLI的数据连接时,需要您同意访问DLI(数据湖探索)委托授权。授权成功后,再次创建DLI的数据连接时,将不再提示您委托授权。 填写完数据源信息后,单击“确定”即可完成DLI数据连接的添加。 使用数据湖探索(DLI)数据源 您可以参考使用 数据仓库 服务(DWS)数据源,配置使用数据湖探索(DLI)数据源。

    来自:帮助中心

    查看更多 →

  • java样例代码

    将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 附录

    易用的批量数据迁移服务。 CDM 围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效地提高您数据迁移和集成的效率。 数据湖探索 DLI:数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache

    来自:帮助中心

    查看更多 →

  • Spark作业使用咨询

    如何使用API通过公网访问DLI? DLI 域名 公网访问请使用域名访问:dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考:数据湖探索API。 DLI自定义的Spark3.1.1镜像,需要把第三方依赖jar放到哪个路径下呢? DLI自定义的Spark3

    来自:帮助中心

    查看更多 →

  • 云服务故障

    分布式缓存服务主备切换 重启分布式缓存服务实例 - 云搜索服务 CSS 重启 云搜索 服务集群 - 数据湖探索 DLI 重启数据湖探索队列 force;stop_job 扩容数据湖探索队列 cu_count; 缩容数据湖探索队列 cu_count; 云数据库 GaussDB (for MySQL) 重启云数据库GaussDB(for

    来自:帮助中心

    查看更多 →

  • 删除云服务器指定元数据(废弃)

    1/{project_id}/servers/{server_id}/metadata/{key} 响应示例 无 返回值 请参考通用请求返回值。 父主题: 元数据管理(OpenStack Nova API)

    来自:帮助中心

    查看更多 →

  • 删除云硬盘快照的单个元数据

    : "XXX" } } 状态码 状态码 描述 200 OK 400 Bad Request 错误码 请参见错误码。 父主题: 快照元数据管理

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage S

    来自:帮助中心

    查看更多 →

  • API概览

    批量添加、删除 弹性云服务器 的网卡。 给弹性 云服务器 网卡绑定、解绑定私有IP地址。 磁盘管理 包括弹性云 服务器 的挂载、卸载、查询等接口。 元数据管理 包括更新云服务器元数据和删除云服务器指定元数据的接口 租户配额管理 查询租户的配额,包括配额限制、已使用配额等接口。 查询Job状态

    来自:帮助中心

    查看更多 →

  • Kafka实时入库到GaussDB(DWS)

    Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。

    来自:帮助中心

    查看更多 →

  • 怎样排查DLI计费异常?

    如果使用了按需的弹性资源池下的队列执行作业,默认的计费模式是按CU时计费。 计费详情可参考《数据湖探索价格详情》。 如果使用的是default队列执行作业,则按照扫描量计费。 计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业,则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。

    来自:帮助中心

    查看更多 →

  • API概览

    服务接入管理接口,包括获取接入信息,申请接入等接口。 开通服务并创建实例以后,LakeFormation即可对外提供元数据管理相关能力,但周边服务需要通过该接口完成对接后,才能调用元数据管理相关接口,从而使用LakeFormation提供的能力。 规格管理 规格管理接口,包括查询规格列表等接口。

    来自:帮助中心

    查看更多 →

  • 创建企业模式工作空间

    境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 配置DB,在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离。

    来自:帮助中心

    查看更多 →

  • 数据安全概述

    数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和 数据治理 的诉求。 图1 DataArts Studio数据安全框架 资源主体:即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS

    来自:帮助中心

    查看更多 →

  • java样例代码

    将写好的java代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 约束条件

    属性级别约束条件 属性级别 约束条件 说明 单值/多值 存在'has' 含有该属性。 单值/多值 不存在'hasNot' 不含有该属性。 父主题: 元数据管理API

    来自:帮助中心

    查看更多 →

  • 支持的数据源(2.9.2.200)

    搜索:Elasticsearch,云搜索服务( CS S) 不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 当前暂不支

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    Gateway,简称APIG)对外开放各组件的API接口。另外,数据服务共享版需要将生成的API发布到APIG。 数据湖探索服务 DataArts Studio支持将数据湖探索服务(Data Lake Insight,简称DLI)作为数据湖底座,进行数据集成、开发、治理与开放。 MapReduce服务 DataArts

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage S

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了