开发实时处理单任务MRS Flink Jar作业
场景描述
在企业实时数据处理中,许多场景需要处理复杂的业务逻辑,例如自定义窗口聚合策略、复杂状态机管理、多流Join自定义处理、第三方系统实时数据同步等。这些场景下,标准Flink SQL的表达能力不足以满足需求,需要通过编写Java代码实现自定义处理逻辑。
用户已经了解了MRS Flink SQL作业的开发方式,但当业务逻辑复杂到SQL无法表达时,需要使用Flink Jar作业。然而,Flink Jar作业与SQL作业在配置方式上有显著差异:需要上传Jar包、配置主类和执行参数、管理资源等,用户不清楚如何正确配置这些参数。
相关概念
- MRS:MapReduce Service,华为云大数据集群服务,提供Hadoop、Spark、Flink等计算引擎。
- Flink Jar作业:通过上传编译好的Java Jar包来运行Flink作业,支持自定义处理逻辑。
- Checkpoint:Flink作业的状态快照机制,定期将作业状态持久化到外部存储,用于故障恢复。
- Savepoint:Flink作业的手动状态快照,用于作业升级、迁移等场景。
- OBS: Object Storage Service,华为云对象存储服务。
- HDFS:Hadoop Distributed File System,分布式文件系统。
- EL表达式:Expression Language,一种表达式语言,用于在作业参数中动态生成参数值。
前提条件
登录与导航
- 登录DataArts Studio管理控制台。
详情请参考访问DataArts Studio实例控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择。
- 在作业目录中,双击已创建的Flink Jar单任务作业名称,进入作业开发页面。
配置MRS Flink Jar作业
| 参数 | 是否必选 | 说明 |
|---|---|---|
| Flink作业名称 | 是 | 输入Flink作业名称。 系统支持Flink作业名称按照工作空间-作业名称格式自动填入。 作业名称只能包含英文字母、数字、中划线和下划线,且长度为1~64个字符,不能包含中文字符。 |
| MRS集群名 | 是 | 选择MRS集群名称。 说明: 单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 |
| 运行程序参数 | 否 | 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 单击“选择模板”,选择已创建好的脚本模板,系统支持引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。 |
| Flink作业执行参数 | 否 | 配置Flink作业执行参数。 Flink程序执行的关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。 说明: 请勿输入敏感信息,例如ak、sk、password、authorization等信息。 |
| MRS资源队列 | 否 | 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 |
| Flink作业资源包 | 是 | 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 说明: 如果管理中心数据连接配置的是MRS租户面连接,MRS认证类型为keytab认证类型,在跨region或跨云场景下,MRS Flink作业资源包不支持设置obs jar。由于DataArts Studio与MRS不是对接同一个OBS时,DataArts Studio传递过去的OBS域名,MRS无法访问识别,导致访问OBS报错域名无法访问。 |
| 重跑策略 | 否 | 从上一个检查点重跑:从最近5次运行记录中取最新的检查点进行重跑;重新启动:根据启动方式配置进行重跑。 |
| 输入数据路径 | 否 | 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。 |
| 输出数据路径 | 否 | 设置输出数据路径,系统支持从HDFS或OBS的目录路径进行配置。 |
| 参数 | 是否必选 | 说明 |
|---|---|---|
| 作业状态轮询时间(秒) | 是 | 设置轮询时间(30~60秒、120秒、180秒、240秒、300秒),每隔x秒查询一次作业是否执行完成。 作业运行过程中,根据设置的作业状态轮询时间查询作业运行状态。 |
| 最长等待时间 | 是 | 设置作业执行的超时时间,如果作业配置了重试,在超时时间内未执行完成,该作业将会再次重试。 说明: 如果作业一直处于启动中状态,没有成功开始运行,超时后作业会被置为失败。 |
| 失败重试 | 否 | 节点执行失败后,是否重新执行节点。
说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 |
参数设置完成后,单击“保存”,并提交该作业。
单击“启动”,选择启动方式后,运行该作业。运行完成后,前往“作业监控 > 实时作业监控”,查看作业运行详细信息。
MRS Flink支持通过租户面连接的jobGateway方式手动触发savepoint。注意:MRS Flink作业触发savepoint,需要开发人员手动去触发savepoint,开发人员修改作业后从savepoint启动作业,从而避免数据丢失。(savepoint是指实时作业某一个时间点的快照,Flink实时作业停止时,系统会自动保存一个savepoint快照,修改作业后,继续从这个停止的时间点开始运行。)
作业启动包含无状态启动和有状态启动。无状态启动是指不包含任何初始状态启动。有状态启动是指从最新状态或者指定状态启动。有状态启动包含如下两种方式:
- 从最新状态启动
- 从指定状态启动:选择checkpoint/savepoint进行启动。
- 从状态集选择:支持从状态集选择checkpoint/savepoint
- 从OBS选择:支持从OBS选择或者填写checkpoint/savepoint
- 从HDFS选择:支持从HDFS选择或者填写checkpoint/savepoint
当作业在数据开发没有查到最新checkpoint,但又希望从之前的checkpoint继续跑时,可以在历史运行记录中,查看日志,找到此前启动或者作业运行生成的checkpoint,指定checkpoint启动作业。
验证作业运行状态
运行完成后,请按以下步骤验证作业是否正常运行:
1. 前往“作业监控 > 实时作业监控”,查看作业运行详细信息。
2. 确认作业状态为“运行中”。
3. 检查作业的开始执行时间是否符合预期。
4. 查看作业运行日志,确认无报错信息。
5. 检查输出数据路径中是否有数据输出。
验证要点:
- 如果作业启动失败,请检查Jar包是否正确上传、主类是否正确、MRS集群状态是否正常。
- 如果作业运行后无输出数据,请检查输入数据路径、执行参数是否正确。
- 如果作业运行一段时间后失败,请查看Checkpoint是否正常生成,并考虑使用“从上一个检查点重跑”策略恢复。
配置作业基本信息
| 参数 | 说明 |
|---|---|
| 责任人 | 自动匹配创建作业时配置的作业责任人,此处支持修改。仅管理员可修改。 |
| 执行用户 | 当“作业调度身份是否可配置”设置为“是”,该参数可见。 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 用户只能指定自己作为执行用户,管理员有修改执行用户的权限。 |
| 作业委托 | 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 |
| 作业优先级 | 自动匹配创建作业时配置的作业优先级,此处支持修改。 |
| 实例超时时间 | 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。 |
| 实例超时是否忽略等待时间 | 配置实例超时是否忽略等待时间。 如果勾选上,表示实例运行时等待时间不会被计入超时时间,可前往默认项设置 > 实例超时是否忽略等待时间修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。 |
| 自定义字段 | 配置自定义字段的参数名称和参数值。 |
| 作业标签 | 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 |
| 作业描述 | 作业的描述信息。 |
配置作业参数
单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。
| 功能 | 说明 |
|---|---|
| 变量 | |
| 新增 | 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数配置完成后,在作业中的引用格式为:${参数名称} |
| 编辑参数表达式 | 在参数值文本框后方,单击 |
| 修改 | 在参数名和参数值的文本框中直接修改。 |
| 掩码显示 | 在参数值为密钥等情况下,从安全角度,请单击 |
| 删除 | 在参数值文本框后方,单击 |
| 常量 | |
| 新增 | 单击“新增”,在文本框中填写作业常量的名称和参数值。 参数配置完成后,在作业中的引用格式为:${参数名称} |
| 编辑参数表达式 | 在参数值文本框后方,单击 |
| 修改 | 在参数名和参数值的文本框中直接修改,修改完成后,请保存。 |
| 删除 | 在参数值文本框后方,单击 |
| 工作空间环境变量 | |
| 查看工作空间已配置的变量和常量。 | |
单击“作业参数预览”页签,展开预览页面,配置如表5所示的参数。
| 功能 | 说明 |
|---|---|
| 当前时间 | 仅单次调度才显示。系统默认为当前时间。 |
| 事件触发时间 | 仅事件驱动调度才显示。系统默认为事件触发时间。 |
| 周期调度 | 仅周期调度才显示。系统默认为调度周期。 |
| 具体时间 | 仅周期调度才显示。周期调度配置的具体运行时间。 |
| 起始日期 | 仅周期调度才显示。周期调度的生效时间。 |
| 后N个实例 | 作业运行调度的实例个数。 |
在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。
如果参数配置了依赖作业实际运行时产生的数据,参数预览功能中无法模拟此类数据,则该数据不展示。
Flink Jar作业与SQL作业的区别
| 对比维度 | Flink SQL作业 | Flink Jar作业 |
|---|---|---|
| 开发方式 | 通过SQL语句编写处理逻辑。 | 通过Java编写自定义处理逻辑,编译打包为Jar文件。 |
| 适用场景 | 标准的数据转换、过滤、聚合等SQL可表达的场景。 | 复杂状态管理、自定义窗口、多流Join、第三方系统集成等。 |
| 资源准备 | 无需额外资源。 | 需提前上传Jar包到OBS并在资源管理中注册。 |
| 配置参数 | SQL语句、Checkpoint参数。 | Jar包路径、主类参数、执行参数、Checkpoint参数。 |
| 灵活性 | 受SQL语法限制。 | 完全可编程,灵活性最高。 |
| 开发门槛 | 较低,掌握SQL即可。 | 较高,需要Java和Flink DataStream API知识。 |
| 维护成本 | 较低,SQL语句易于理解和修改。 | 较高,修改逻辑需重新编译打包。 |
| 选型建议 | 优先使用Flink SQL作业满足需求,当SQL无法表达复杂逻辑时再使用Jar作业。 | |
Savepoint管理
MRS Flink支持通过租户面连接的jobGateway方式手动触发savepoint。
重要:MRS Flink作业触发savepoint需要开发人员手动触发。修改作业后,从savepoint启动作业可以避免数据丢失。
Savepoint说明:Savepoint是指实时作业某一个时间点的快照。Flink实时作业停止时,系统会自动保存一个savepoint快照,修改作业后,继续从这个停止的时间点开始运行。
从历史Checkpoint恢复
当作业在数据开发没有查到最新checkpoint,但又希望从之前的checkpoint继续跑时:
- 在历史运行记录中查看日志。
- 找到此前启动或者作业运行生成的checkpoint。
- 指定该checkpoint启动作业。
常见问题
- Flink Jar作业和Flink SQL作业应该如何选择?
优先使用Flink SQL作业,它开发门槛低、维护成本低。当业务逻辑复杂到SQL无法表达时(如自定义窗口策略、复杂状态机、多流Join自定义处理等),再使用Flink Jar作业。Jar作业提供完全的编程灵活性,但需要Java开发能力和和更高的维护成本。
- Jar包上传后无法在资源列表中找到怎么办?
请检查:
- Jar包是否已上传至OBS桶。
- 是否在“资源管理”页面中新建了资源并关联了该Jar包。
- 资源类型是否选择正确(Jar类型)。
- 当前用户是否有该资源的访问权限。
- 跨region或跨云场景下,Jar包无法访问怎么办?
如果管理中心数据连接配置的是MRS租户面连接,MRS认证类型为keytab认证类型,在跨region或跨云场景下,MRS Flink作业资源包不支持设置obs jar。因为DataArts Studio与MRS不是对接同一个OBS时,DataArts Studio传递过去的OBS域名,MRS无法访问识别。解决方案:将Jar包上传到MRS可访问的HDFS路径,或确保DataArts Studio与MRS对接同一个OBS。
- 作业运行后如何查看Flink Web UI?
在实时作业监控页面,单击作业名称进入详情页面,选择“更多 > FlinkUI”即可跳转到Flink Web UI。注意:当前节点未在运行中时,不能查看FlinkUI。
后续操作
- 监控作业运行:作业启动后,前往“实时作业监控”页面查看运行状态和指标。
- 配置调度:如需定时或事件触发运行作业,请参考调度作业。
- 查看Flink Web UI:在实时作业监控中通过“更多 > FlinkUI”查看Flink作业详情。
- 版本管理:利用保存版本功能进行版本回滚,确保作业配置可追溯。




