数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖和逻辑数据仓库 更多内容
  • 逻辑集群概述

    节点的内存IO资源消耗比较高,且耗时比较长,但这类查询对实时性要求不高,因此可以将这些数据划分到一个独立的逻辑集群中。 T3T4表包含了一些计算数据实时数据,主要用于业务点查实时查询,这类查询要求实时性高,为避免其他高负载操作影响,可以将这些数据划分到独立的逻辑集群中。

    来自:帮助中心

    查看更多 →

  • 创建逻辑集群

    创建逻辑集群 功能介绍 该接口用于创建逻辑集群。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/logical-clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 逻辑复制函数

    当该函数在CN上执行时,如果output_order值为1,会在所有CN主DN上创建同名复制槽,如果某些DN上已存在同名复制槽,会在除当前CN节点外,其他不存在同名复制槽的CN主DN节点上创建 CS N序逻辑复制槽,同时报错复制槽已存在。因此需删除DN上已有的同名复制槽(如为LS

    来自:帮助中心

    查看更多 →

  • 逻辑复制函数

    返回的时间来自检查点日志事务提交日志,存在一定误差。如果没有解码到任何前述包含时间的日志,则显示“2000-01-01 08:00:00+08”(依照数据库设置的时区而定)。查询一个当前不存在的逻辑复制槽的最新解码的WAL日志时间时,返回NULL,在gsql中NULL显示设置有关,可以使用\pset

    来自:帮助中心

    查看更多 →

  • IoTDA结合DLI+DWS+Astro实现大数据分析

    (report_time); 配置 DLI 数据湖 探索服务 登录华为云官方网站,访问数据湖探索服务。 单击“进入控制台”。 在跨源管理中创建增强型跨源,用于打通Flink队列与DMS KafkaDWS之间的网络。弹性资源池选择购买的DLI队列,虚拟私有云选择KafkaDWS所属的虚拟私有云以及子网。

    来自:帮助中心

    查看更多 →

  • 基本使用逻辑

    基本使用逻辑 父主题: Web SDK

    来自:帮助中心

    查看更多 →

  • 创建逻辑实体

    为主键、是否必填描述等信息。 关联信息 关联信息 仅当“是否关联”选择“关联”,即模型存在关联关系时,需要配置。 配置逻辑实体关联信息,包括关联字段、关联类型、文件路径等信息。 单击“保存”。 在“确认”对话框单击“确定”。 成功创建的逻辑实体,自动显示在逻辑实体列表中。 (可选)在逻辑实体列表支持如下操作。

    来自:帮助中心

    查看更多 →

  • 查询对话逻辑

    查询对话逻辑 场景描述 根据ID查询对话逻辑,查询条件:flow_id,唯一标识,必填。 接口方法 POST 接口URI /CCSQM/rest/ccisqm/v1/conversation-rules/getConversationFlow 请求说明 表1 请求头参数 序号 名称

    来自:帮助中心

    查看更多 →

  • 更新对话逻辑

    更新对话逻辑 场景描述 更新对话逻辑接口。 接口方法 POST 接口URI https:// 域名 /apiaccess/CCSQM/rest/ccisqm/v1/conversation-rules/updateConversationFlow,例如域名是service.besclouds

    来自:帮助中心

    查看更多 →

  • 删除逻辑库

    除”。 在删除确认弹窗中,单击“是”。 请勿直接在数据节点列表删除DDM逻辑库关联的实例,会直接导致逻辑库故障。 如需删除数据节点上的数据,请在删除逻辑库的弹窗中勾选“删除数据节点上的数据”。 如果您想删除逻辑库,请首先确认数据节点是否存在。如果实例已删除,请先单击“同步DN信息”,再进行删除操作。

    来自:帮助中心

    查看更多 →

  • 导出逻辑库

    导出逻辑库 用于跨region容灾或者数据迁移场景。在源实例进行导出,导出的逻辑库信息主要包含逻辑库的基本信息分片信息,不包含业务数据索引数据。 前提条件 DDM实例中已创建逻辑库。 操作步骤 登录 分布式数据库 中间件控制台。 在实例管理列表页面,选择目标DDM实例,单击实例名称,进入实例基本信息页面。

    来自:帮助中心

    查看更多 →

  • 基本使用逻辑

    基本使用逻辑 创建新的项目工程,导入 SDK 后,需要创建客户端并获取本地音视频设备信息。 创建本地流并初始化。 当用户加入房间后,将通过回调的方式通知房间内的其他用户,收到用户加入的回调后,可以对音视频流进行订阅、取消订阅等其它操作。 在会中,也可以对本地录音或播放设备等进行配置。

    来自:帮助中心

    查看更多 →

  • 逻辑库管理

    逻辑库管理 创建DDM逻辑库 查询DDM逻辑库列表 查询DDM逻辑库详细信息 删除DDM逻辑库 查询创建逻辑库可选取的数据库实例列表 删除逻辑库V3 父主题: API(推荐)

    来自:帮助中心

    查看更多 →

  • 逻辑解码概述

    备机解码时,switchoverfailover时可能出现解码数据变多,需用户手动过滤。Quorum协议下,switchoverfailover选择升主的备机,需要与当前主机日志同步。 不允许主备,多个备机同时使用同一个复制槽解码,否则会产生数据不一致的情况。 只支持CN主DN创建删除复制槽。

    来自:帮助中心

    查看更多 →

  • 逻辑解码选项

    参''options_name''options_value',JDBC流式解码请参考《》中“应用程序开发教程 > 基于JDBC开发 > 示例:逻辑复制代码示例”章节中示例代码中函数withSlotOption的使用方法。 通用选项(串行解码并行解码均可配置,但可能无效,请参考相关选项详细说明)

    来自:帮助中心

    查看更多 →

  • 逻辑解码概述

    不活跃的逻辑复制槽将阻塞WAL日志回收系统表元组历史版本清理,导致磁盘日志堆积系统表扫描性能下降,因此不再使用的逻辑复制槽请及时清理。需要特别注意,在升级提交之前观察期内使用DN扩展IP连接DN创建的逻辑复制槽,在升级回滚之前务必手动清理,否则随着DN扩展IP特性回滚无法直连DN清理。 分布式强一

    来自:帮助中心

    查看更多 →

  • 逻辑复制函数

    当该函数在CN上执行时,如果output_order值为1,会在所有CN主DN上创建同名复制槽,如果某些DN上已存在同名复制槽,会在除当前CN节点外,其他不存在同名复制槽的CN主DN节点上创建CSN序逻辑复制槽,同时报错复制槽已存在。因此需删除其他CN主DN上已有的同名复制槽(如为LSN序复制槽则需

    来自:帮助中心

    查看更多 →

  • 逻辑复制函数

    解码条数(包含begincommit)。假设一共有三条事务,分别包含3、5、7条记录,如果upto_nchanges为4,那么会解码出前两个事务共8条记录。解码完第二条事务时发现解码条数记录大于等于upto_nchanges,会停止解码。 取值范围:非负整数。 LSNupto_nch

    来自:帮助中心

    查看更多 →

  • 逻辑解码概述

    如需进行备机解码,需在对应主机上设置GUC参数enable_slot_log = on。 备机解码时,switchoverfailover时可能出现解码数据变多,需用户手动过滤。Quorum协议下,switchoverfailover选择升主的备机,需要与当前主机日志同步。 不允许主备,多个备机同时使用同一个复制槽解码,否则会产生数据不一致。

    来自:帮助中心

    查看更多 →

  • 逻辑解码概述

    如需进行备机解码,需在对应主机上设置guc参数enable_slot_log = on。 备机解码时,switchoverfailover时可能出现解码数据变多,需用户手动过滤。Quorum协议下,switchoverfailover选择升主的备机,需要与当前主机日志同步。 不允许主备,多个备机同时使用同一个复制槽解码,否则会产生数据不一致。

    来自:帮助中心

    查看更多 →

  • 逻辑解码选项

    0:设为0时,解码非本地日志本地日志。 1:设为1时,仅解码本地日志。 white-table-list: 白名单参数,包含需要进行解码的schema表名。 取值范围:包含白名单中表名的字符串,不同的表以','为分隔符进行隔离;使用'*'来模糊匹配所有情况;schema名表名间以'.'分隔,不允许存在任意空白符。例如:

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了