文档首页/ 数据治理中心 DataArts Studio/ 用户指南/ 数据开发/ 作业开发/ 开发实时处理单任务MRS Flink Jar作业
更新时间:2026-11-12 GMT+08:00
分享

开发实时处理单任务MRS Flink Jar作业

场景描述

在企业实时数据处理中,许多场景需要处理复杂的业务逻辑,例如自定义窗口聚合策略、复杂状态机管理、多流Join自定义处理、第三方系统实时数据同步等。这些场景下,标准Flink SQL的表达能力不足以满足需求,需要通过编写Java代码实现自定义处理逻辑。

用户已经了解了MRS Flink SQL作业的开发方式,但当业务逻辑复杂到SQL无法表达时,需要使用Flink Jar作业。然而,Flink Jar作业与SQL作业在配置方式上有显著差异:需要上传Jar包、配置主类和执行参数、管理资源等,用户不清楚如何正确配置这些参数。

相关概念

  • MRS:MapReduce Service,华为云大数据集群服务,提供Hadoop、Spark、Flink等计算引擎。
  • Flink Jar作业:通过上传编译好的Java Jar包来运行Flink作业,支持自定义处理逻辑。
  • Checkpoint:Flink作业的状态快照机制,定期将作业状态持久化到外部存储,用于故障恢复。
  • Savepoint:Flink作业的手动状态快照,用于作业升级、迁移等场景。
  • OBS: Object Storage Service,华为云对象存储服务。
  • HDFS:Hadoop Distributed File System,分布式文件系统。
  • EL表达式:Expression Language,一种表达式语言,用于在作业参数中动态生成参数值。

前提条件

  • 参见新建作业创建一个实时处理的单任务Flink Jar作业。
  • 已创建MRS集群,且集群版本为MRS 3.2.0-LTS.1及以上版本。
  • 已完成Java程序开发并编译打包为Jar文件。
  • 已将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中。具体操作请参见管理资源。

登录与导航

  1. 登录DataArts Studio管理控制台。

    详情请参考访问DataArts Studio实例控制台。

  2. 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
  4. 在作业目录中,双击已创建的Flink Jar单任务作业名称,进入作业开发页面。

配置MRS Flink Jar作业

表1 配置MRS Flink Jar作业属性参数

参数

是否必选

说明

Flink作业名称

是

输入Flink作业名称。

系统支持Flink作业名称按照工作空间-作业名称格式自动填入。

作业名称只能包含英文字母、数字、中划线和下划线,且长度为1~64个字符,不能包含中文字符。

MRS集群名

是

选择MRS集群名称。

说明:

单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。

运行程序参数

否

配置作业运行参数。当选择了MRS集群名后,该参数才显示。

该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。

注意:

系统支持Flink Jar作业运行前能够查询历史checkpoint,并选择从指定checkpoint启动。要使Flink Checkpoint生效,需要配置两个运行参数:

  • 用来控制checkpoint间隔

    -yD:execution.checkpointing.interval=1000

  • 用来控制保留的checkpoint数量

    -yD:state.checkpoints.num-retained=10

    查询checkpoint列表时,配置-s参数,鼠标单击参数值输入框,checkpoint列表参数值会自动弹出。

说明:

若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。

单击“选择模板”,选择已创建好的脚本模板,系统支持引用多个模板。创建模板的详细操作请参见配置模板。

MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。

Flink作业执行参数

否

配置Flink作业执行参数。

Flink程序执行的关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。

说明:

请勿输入敏感信息,例如ak、sk、password、authorization等信息。

MRS资源队列

否

选择已创建好的MRS资源队列。

需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。

Flink作业资源包

是

选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。

说明:

如果管理中心数据连接配置的是MRS租户面连接,MRS认证类型为keytab认证类型,在跨region或跨云场景下,MRS Flink作业资源包不支持设置obs jar。由于DataArts Studio与MRS不是对接同一个OBS时,DataArts Studio传递过去的OBS域名,MRS无法访问识别,导致访问OBS报错域名无法访问。

重跑策略

否

从上一个检查点重跑:从最近5次运行记录中取最新的检查点进行重跑;重新启动:根据启动方式配置进行重跑。

  • 从上一个检查点重跑

    Flink实时作业失败时自动重试将会自动获取最新的checkpoint,并从该checkpoint进行续跑,若不存在最新checkpoint,作业将启动失败。

  • 重新启动

    按作业当前配置重新启动,不涉及位点或checkpoint选择。

输入数据路径

否

设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。

输出数据路径

否

设置输出数据路径,系统支持从HDFS或OBS的目录路径进行配置。

表2 配置高级参数

参数

是否必选

说明

作业状态轮询时间(秒)

是

设置轮询时间(30~60秒、120秒、180秒、240秒、300秒),每隔x秒查询一次作业是否执行完成。

作业运行过程中,根据设置的作业状态轮询时间查询作业运行状态。

最长等待时间

是

设置作业执行的超时时间,如果作业配置了重试,在超时时间内未执行完成,该作业将会再次重试。

说明:

如果作业一直处于启动中状态,没有成功开始运行,超时后作业会被置为失败。

失败重试

否

节点执行失败后,是否重新执行节点。

  • 是:重新执行节点,请配置以下参数。
    • 超时重试
    • 最大重试次数
    • 重试间隔时间(秒)
  • 否:默认值,不重新执行节点。
说明:

如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。

当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。

当“失败重试”配置为“是”才显示“超时重试”。

参数设置完成后,单击“保存”,并提交该作业。

单击“启动”,选择启动方式后,运行该作业。运行完成后,前往“作业监控 > 实时作业监控”,查看作业运行详细信息。

MRS Flink支持通过租户面连接的jobGateway方式手动触发savepoint。注意:MRS Flink作业触发savepoint,需要开发人员手动去触发savepoint,开发人员修改作业后从savepoint启动作业,从而避免数据丢失。(savepoint是指实时作业某一个时间点的快照,Flink实时作业停止时,系统会自动保存一个savepoint快照,修改作业后,继续从这个停止的时间点开始运行。)

作业启动包含无状态启动和有状态启动。无状态启动是指不包含任何初始状态启动。有状态启动是指从最新状态或者指定状态启动。有状态启动包含如下两种方式:

  • 从最新状态启动
  • 从指定状态启动:选择checkpoint/savepoint进行启动。
    • 从状态集选择:支持从状态集选择checkpoint/savepoint
    • 从OBS选择:支持从OBS选择或者填写checkpoint/savepoint
    • 从HDFS选择:支持从HDFS选择或者填写checkpoint/savepoint

当作业在数据开发没有查到最新checkpoint,但又希望从之前的checkpoint继续跑时,可以在历史运行记录中,查看日志,找到此前启动或者作业运行生成的checkpoint,指定checkpoint启动作业。

验证作业运行状态

运行完成后,请按以下步骤验证作业是否正常运行:

1. 前往“作业监控 > 实时作业监控”,查看作业运行详细信息。

2. 确认作业状态为“运行中”。

3. 检查作业的开始执行时间是否符合预期。

4. 查看作业运行日志,确认无报错信息。

5. 检查输出数据路径中是否有数据输出。

验证要点:

  • 如果作业启动失败,请检查Jar包是否正确上传、主类是否正确、MRS集群状态是否正常。
  • 如果作业运行后无输出数据,请检查输入数据路径、执行参数是否正确。
  • 如果作业运行一段时间后失败,请查看Checkpoint是否正常生成,并考虑使用“从上一个检查点重跑”策略恢复。

配置作业基本信息

表3 作业基本信息

参数

说明

责任人

自动匹配创建作业时配置的作业责任人,此处支持修改。仅管理员可修改。

执行用户

当“作业调度身份是否可配置”设置为“是”,该参数可见。

执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。

用户只能指定自己作为执行用户,管理员有修改执行用户的权限。

作业委托

当“作业调度身份是否可配置”设置为“是”,该参数可见。

配置委托后,作业执行过程中,以委托的身份与其他服务交互。

作业优先级

自动匹配创建作业时配置的作业优先级,此处支持修改。

实例超时时间

配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。

实例超时是否忽略等待时间

配置实例超时是否忽略等待时间。

如果勾选上,表示实例运行时等待时间不会被计入超时时间,可前往默认项设置 > 实例超时是否忽略等待时间修改此策略。

如果未选上,表示实例运行时等待时间会被计入超时时间。

自定义字段

配置自定义字段的参数名称和参数值。

作业标签

配置作业的标签,用以分类管理作业。

单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。

作业描述

作业的描述信息。

配置作业参数

单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。

表4 作业参数配置

功能

说明

变量

新增

单击“新增”,在文本框中填写作业参数的名称和参数值。

  • 参数名称

    名称只能包含字符:英文字母、数字、点号、中划线和下划线。

  • 参数值
    • 字符串类的参数直接填写字符串,例如:str1
    • 数值类的参数直接填写数值或运算表达式。

参数配置完成后,在作业中的引用格式为:${参数名称}

编辑参数表达式

在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。

修改

在参数名和参数值的文本框中直接修改。

掩码显示

在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。

删除

在参数值文本框后方,单击,删除作业参数。

常量

新增

单击“新增”,在文本框中填写作业常量的名称和参数值。

  • 参数名称

    名称只能包含字符:英文字母、数字、点号、中划线和下划线。

  • 参数值
    • 字符串类的参数直接填写字符串,例如:str1
    • 数值类的参数直接填写数值或运算表达式。

参数配置完成后,在作业中的引用格式为:${参数名称}

编辑参数表达式

在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。

修改

在参数名和参数值的文本框中直接修改,修改完成后,请保存。

删除

在参数值文本框后方,单击,删除作业常量。

工作空间环境变量

查看工作空间已配置的变量和常量。

单击“作业参数预览”页签,展开预览页面,配置如表5所示的参数。

表5 作业参数预览

功能

说明

当前时间

仅单次调度才显示。系统默认为当前时间。

事件触发时间

仅事件驱动调度才显示。系统默认为事件触发时间。

周期调度

仅周期调度才显示。系统默认为调度周期。

具体时间

仅周期调度才显示。周期调度配置的具体运行时间。

起始日期

仅周期调度才显示。周期调度的生效时间。

后N个实例

作业运行调度的实例个数。

  • 单次调度场景默认为1。
  • 事件驱动调度场景默认为1。
  • 周期调度场景

    当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。

在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。

如果参数配置了依赖作业实际运行时产生的数据,参数预览功能中无法模拟此类数据,则该数据不展示。

Flink Jar作业与SQL作业的区别

表6 Flink Jar作业与SQL作业的区别

对比维度

Flink SQL作业

Flink Jar作业

开发方式

通过SQL语句编写处理逻辑。

通过Java编写自定义处理逻辑,编译打包为Jar文件。

适用场景

标准的数据转换、过滤、聚合等SQL可表达的场景。

复杂状态管理、自定义窗口、多流Join、第三方系统集成等。

资源准备

无需额外资源。

需提前上传Jar包到OBS并在资源管理中注册。

配置参数

SQL语句、Checkpoint参数。

Jar包路径、主类参数、执行参数、Checkpoint参数。

灵活性

受SQL语法限制。

完全可编程,灵活性最高。

开发门槛

较低,掌握SQL即可。

较高,需要Java和Flink DataStream API知识。

维护成本

较低,SQL语句易于理解和修改。

较高,修改逻辑需重新编译打包。

选型建议

优先使用Flink SQL作业满足需求,当SQL无法表达复杂逻辑时再使用Jar作业。

Savepoint管理

MRS Flink支持通过租户面连接的jobGateway方式手动触发savepoint。

重要:MRS Flink作业触发savepoint需要开发人员手动触发。修改作业后,从savepoint启动作业可以避免数据丢失。

Savepoint说明:Savepoint是指实时作业某一个时间点的快照。Flink实时作业停止时,系统会自动保存一个savepoint快照,修改作业后,继续从这个停止的时间点开始运行。

从历史Checkpoint恢复

当作业在数据开发没有查到最新checkpoint,但又希望从之前的checkpoint继续跑时:

  1. 在历史运行记录中查看日志。
  2. 找到此前启动或者作业运行生成的checkpoint。
  3. 指定该checkpoint启动作业。

常见问题

  • Flink Jar作业和Flink SQL作业应该如何选择?

    优先使用Flink SQL作业,它开发门槛低、维护成本低。当业务逻辑复杂到SQL无法表达时(如自定义窗口策略、复杂状态机、多流Join自定义处理等),再使用Flink Jar作业。Jar作业提供完全的编程灵活性,但需要Java开发能力和和更高的维护成本。

  • Jar包上传后无法在资源列表中找到怎么办?

    请检查:

    1. Jar包是否已上传至OBS桶。
    2. 是否在“资源管理”页面中新建了资源并关联了该Jar包。
    3. 资源类型是否选择正确(Jar类型)。
    4. 当前用户是否有该资源的访问权限。
  • 跨region或跨云场景下,Jar包无法访问怎么办?

    如果管理中心数据连接配置的是MRS租户面连接,MRS认证类型为keytab认证类型,在跨region或跨云场景下,MRS Flink作业资源包不支持设置obs jar。因为DataArts Studio与MRS不是对接同一个OBS时,DataArts Studio传递过去的OBS域名,MRS无法访问识别。解决方案:将Jar包上传到MRS可访问的HDFS路径,或确保DataArts Studio与MRS对接同一个OBS。

  • 作业运行后如何查看Flink Web UI?

    在实时作业监控页面,单击作业名称进入详情页面,选择“更多 > FlinkUI”即可跳转到Flink Web UI。注意:当前节点未在运行中时,不能查看FlinkUI。

后续操作

  • 监控作业运行:作业启动后,前往“实时作业监控”页面查看运行状态和指标。
  • 配置调度:如需定时或事件触发运行作业,请参考调度作业。
  • 查看Flink Web UI:在实时作业监控中通过“更多 > FlinkUI”查看Flink作业详情。
  • 版本管理:利用保存版本功能进行版本回滚,确保作业配置可追溯。

相关文档