数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    flink规则引擎 更多内容
  • Flink用户权限说明

    Flink用户权限说明 访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限,Manager的admin用户没有FlinkServer的业务操作权限。 FlinkServer中应用(租户)是最大管理范围,包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。

    来自:帮助中心

    查看更多 →

  • Flink SQL作业类型

    Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题: dws-connector-flink

    来自:帮助中心

    查看更多 →

  • 创建Flink SQL作业

    创建Flink SQL作业 本章节介绍如何新建Flink SQL作业。Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑,可以简便快捷的实现业务。目前Flink SQL作业支持两种Flink SQL语句编辑方式:SQL编辑器。本章节主要介绍使用SQL编辑器编写Flink

    来自:帮助中心

    查看更多 →

  • 运行Flink作业

    ta/client/Flink/flink/conf/”,此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 相对路径:请执行如下步骤配置flink.keystore和flink

    来自:帮助中心

    查看更多 →

  • 备份Flink元数据

    备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全,或者系统管理员需要对Flink进行重大操作(如升级或迁移等)时,需要对Flink集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过 FusionInsight

    来自:帮助中心

    查看更多 →

  • 恢复Flink元数据

    Manager创建恢复Flink任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据,建议手动备份最新Flink元数据后,再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。

    来自:帮助中心

    查看更多 →

  • 调测Flink应用

    调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(安全模式)

    来自:帮助中心

    查看更多 →

  • 调测Flink应用

    调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • Flink Savepoints CLI介绍

    Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的

    来自:帮助中心

    查看更多 →

  • Flink开发规范概述

    Flink开源社区开发文档:https://nightlies.apache.org/flink/flink-docs-stable/。 父主题: Flink应用开发规范

    来自:帮助中心

    查看更多 →

  • Flink任务开发规范

    Flink任务开发规范 Flink任务开发规则 Flink任务开发建议 父主题: Flink应用开发规范

    来自:帮助中心

    查看更多 →

  • Flink开发样例

    Flink开发样例 Flink支持对接ClickHouse、HBase、HDFS等多个服务,具体支持版本及样例详情可参考如下: FlinkServer对接ClickHouse FlinkServer对接HBase FlinkServer对接HDFS FlinkServer对接Hive

    来自:帮助中心

    查看更多 →

  • Flink作业模板相关

    Flink作业模板相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化 DLI 客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4

    来自:帮助中心

    查看更多 →

  • Flink SQL语法概览

    Flink SQL语法概览 本章节介绍了目前DLI所提供的Flink SQL语法列表。参数说明,示例等详细信息请参考具体的语法说明。 表1 流作业语法概览 语法分类 功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS

    来自:帮助中心

    查看更多 →

  • Flink作业管理

    Flink作业管理 Flink作业管理概述 Flink作业权限管理 准备Flink作业数据 (推荐)创建Flink OpenSource SQL作业 创建Flink SQL作业 创建Flink Jar作业 操作Flink作业 Flink作业详情 标签管理 开启Flink作业动态扩缩容

    来自:帮助中心

    查看更多 →

  • Flink作业权限管理

    Flink作业权限管理 Flink作业权限操作场景 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时,该用户所在用户组的所属区域需具有Tenant

    来自:帮助中心

    查看更多 →

  • 创建Flink Jar作业

    云审计 服务快速入门》。 创建Flink Jar作业 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入“Flink作业”页面。 在“Flink作业”页面右上角单击“新建作业”,弹出“新建作业”对话框。 图1 新建Flink Jar作业 配置作业信息。 表1

    来自:帮助中心

    查看更多 →

  • Flink Stream SQL Join

    apache.org/projects/flink/flink-docs-release-1.12/dev/table/index.html。 Stream SQL Join介绍 SQL Join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。Flink Stream SQL Jo

    来自:帮助中心

    查看更多 →

  • Flink运维管理

    Flink运维管理 Flink常用配置参数 Flink日志介绍 父主题: 使用Flink

    来自:帮助中心

    查看更多 →

  • Flink常用配置参数

    Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/F

    来自:帮助中心

    查看更多 →

  • Flink常见Shell命令

    Flink常见Shell命令 本章节适用于MRS 3.x及之后版本。 在使用Flink的Shell脚本前,首先需要执行以下操作,详细使用场景可参考Flink客户端使用实践运行wordcount作业: 安装Flink客户端,例如安装目录为“/opt/client”。 初始化环境变量。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了