数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    flink实时规则引擎 更多内容
  • 实时会话

    实时会话 查看实时会话 监控实时会话 中断实时会话 父主题: 运维审计

    来自:帮助中心

    查看更多 →

  • 使用DLI Flink SQL进行电商实时业务数据分析

    根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示。 方案架构 使用 DLI Flink完成电商业务实时数据的分析处理,获取各个渠道的销售汇总数据。 图1 方案简介 流程指导 使用DLI Flink进行电商实时业务数据分析的操作过程主要包括以下步骤:

    来自:帮助中心

    查看更多 →

  • Flink作业相关

    Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI,示例代码如下:

    来自:帮助中心

    查看更多 →

  • 操作Flink作业

    作业管理”>“Flink作业”,进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 根据实际需求编辑作业。 对于Flink SQL类型作业,编辑页面详情请参见创建Flink SQL作业中的步骤5~步骤7。 对于Flink自定义类型作业,编辑页面详情请参见创建Flink

    来自:帮助中心

    查看更多 →

  • Flink作业详情

    展示用户Flink作业字节的输入总数。单位:字节。 Flink作业字节输出总数 展示用户Flink作业字节的输出总数。单位:字节。 Flink作业CPU使用率 展示用户Flink作业的CPU使用率。单位:%。 Flink作业内存使用率 展示用户Flink作业的内存使用率。单位:%。

    来自:帮助中心

    查看更多 →

  • Flink日志介绍

    Flink日志介绍 日志描述 日志存储路径: Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日

    来自:帮助中心

    查看更多 →

  • 开发Flink应用

    开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink对接 云搜索服务 CSS )样例程序 父主题: Flink开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • 开发Flink应用

    开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题: Flink开发指南(安全模式)

    来自:帮助中心

    查看更多 →

  • 导入Flink作业

    导入Flink作业 功能介绍 该API用于导入Flink作业数据。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/import 参数说明 表1 URI参数说明 参数名称 是否必选

    来自:帮助中心

    查看更多 →

  • 开发Flink应用

    开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST

    来自:帮助中心

    查看更多 →

  • 开发Flink应用

    开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST

    来自:帮助中心

    查看更多 →

  • 开发Flink应用

    开发Flink应用 DataStream程序 向Kafka生产并消费数据程序 异步Checkpoint机制程序 Stream SQL Join程序 父主题: Flink开发指南

    来自:帮助中心

    查看更多 →

  • Flink日志介绍

    Flink日志介绍 日志描述 日志存储路径: Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日

    来自:帮助中心

    查看更多 →

  • Flink CEP in SQL

    Flink CEP in SQL SQL中的Flink CEP CloudStream扩展为允许用户在SQL中表示CEP查询结果以用于模式匹配,并在Flink引擎上对事件流进行评估。 SQL查询语法 通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle

    来自:帮助中心

    查看更多 →

  • Flink对接OBS

    Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

    来自:帮助中心

    查看更多 →

  • Flink SQL概述

    Flink SQL概述 DWS-connector主要实现了DynamicTableSourceFactory和DynamicTableSinkFactory接口,可用于对接 GaussDB (DWS)表作为Flink作业的源表、结果表和维表。详情请参见做源表、做结果表和做维表。 父主题:

    来自:帮助中心

    查看更多 →

  • Flink模板管理

    SQL样例模板 Flink OpenSource SQL样例模板 自定义模板 新建模板 基于模板新建作业 修改模板 删除模板 Flink SQL样例模板 Flink SQL样例模板列表显示已有的Flink SQL样例作业模板,Flink SQL样例模板列表参数说明如表 1所示。 已有样例模板的具体场景以控制台为准。

    来自:帮助中心

    查看更多 →

  • Flink故障排除

    Flink故障排除 使用不同用户执行yarn-session创建Flink集群失败 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session

    来自:帮助中心

    查看更多 →

  • DLI Flink Job

    DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否

    来自:帮助中心

    查看更多 →

  • MRS Flink Job

    MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程,请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。

    来自:帮助中心

    查看更多 →

  • 导出Flink作业

    导出Flink作业 功能介绍 该API用于导出Flink作业数据。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/export 参数说明 表1 URI参数说明 参数名称 是否必选

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了