数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    flink规则引擎cep 更多内容
  • 配置Flink作业权限

    配置Flink作业权限 Flink作业权限操作场景 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时,该用户所在用户组的所属区域需具有Tenant

    来自:帮助中心

    查看更多 →

  • 查询Flink作业日志

    完成设置后 DLI 作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查看Flink作业提交日志 用户可以通过查看提交日志排查提交作业异常的故障。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。

    来自:帮助中心

    查看更多 →

  • Flink性能优化

    Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pi

    来自:帮助中心

    查看更多 →

  • 新建Flink Jar作业

    feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic:表示使用DLI提供的基础Flink镜像。 custom:表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

    来自:帮助中心

    查看更多 →

  • 更新Flink Jar作业

    feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic:表示使用DLI提供的基础Flink镜像。 custom:表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

    来自:帮助中心

    查看更多 →

  • Flink应用开发规范

    Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例

    来自:帮助中心

    查看更多 →

  • Flink HA方案介绍

    Flink HA方案介绍 Flink HA方案介绍 每个Flink集群只有单个JobManager,存在单点失败的情况。Flink有Yarn、Standalone和Local三种模式,其中Yarn和Standalone是集群模式,Local是指单机模式。但Flink对于Yarn模

    来自:帮助中心

    查看更多 →

  • Flink作业引擎概述

    图形化作业管理:简单易用。 Flink WebUI关键能力 Flink WebUI关键能力如表1: 表1 Flink WebUI关键能力 关键能力分类 描述 批流一体 支持一套FlinkSQL定义批作业和流作业。 Flink SQL内核能力 Flink SQL支持自定义大小窗、24小时以内流计算、超出24小时批处理。

    来自:帮助中心

    查看更多 →

  • 基础指标:Flink指标

    基础指标:Flink指标 介绍通过Flink服务上报到AOM的指标的类别、名称、含义等信息。 表1 Flink服务监控指标 分类 指标 指标含义 单位 CPU flink_jobmanager_Status_JVM_CPU_Load JobManager中JVM的CPU负载。 无

    来自:帮助中心

    查看更多 →

  • Flink常见问题

    资源冗余量 Flink任务运行时,建议整个集群的Yarn资源留有一定的余量。比如当前Yarn总体的资源有100Vcore,200GB,则建议Yarn的任务使用90vcore,180GB,保留10%的资源用于当部分节点故障时,任务可以自动重试恢复。 父主题: 使用Flink

    来自:帮助中心

    查看更多 →

  • Flink常用配置参数

    Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径

    来自:帮助中心

    查看更多 →

  • Flink用户权限管理

    Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题: 使用Flink

    来自:帮助中心

    查看更多 →

  • Flink作业引擎概述

    Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台,用户只需要编写SQL即可开发作业,极大降低作业开发门槛。同时通过作业平台能力开放,支持业务人员自行编写SQL开发作业来快速应对需求,大大减少Flink作业开发工作量。 Flink WebUI特点 Flink

    来自:帮助中心

    查看更多 →

  • Flink用户权限说明

    Flink用户权限说明 访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限,Manager的admin用户没有FlinkServer的业务操作权限。 FlinkServer中应用(租户)是最大管理范围,包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。

    来自:帮助中心

    查看更多 →

  • Flink SQL语法增强

    Flink SQL语法增强 本章节适用于 MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性,根据指定的字段进行分区,支持单字段及多字段,解决数据仅需要分区的场景。示例如下: SELECT /*+ DISTRIBUTEBY('id')

    来自:帮助中心

    查看更多 →

  • Flink SQL作业类

    Flink SQL作业类 怎样将OBS表映射为DLI的分区表? Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS

    来自:帮助中心

    查看更多 →

  • 快速开发Flink应用

    /opt/hadoopclient/Flink/flink/conf/ mkdir ssl mv flink.keystore ssl/ mv flink.truststore ssl/ vi /opt/hadoopclient/Flink/flink/conf/flink-conf.yaml 修改如下两个参数的路径详细为相对地址路径。

    来自:帮助中心

    查看更多 →

  • Flink应用开发简介

    程。 当前MRS提供以下Flink相关样例工程,安全模式路径为“flink-examples/flink-examples-security”,普通模式路径为“flink-examples/flink-examples-normal”: 表2 Flink相关样例工程 样例工程 描述

    来自:帮助中心

    查看更多 →

  • 调测Flink应用

    调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题: Flink开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • Flink Savepoints CLI介绍

    Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的

    来自:帮助中心

    查看更多 →

  • 备份Flink元数据

    备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全,或者系统管理员需要对Flink进行重大操作(如升级或迁移等)时,需要对Flink集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过 FusionInsight

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了