开发实时处理单任务MRS Flink Jar作业
前提条件
参见新建作业创建一个实时处理的单任务Flink Jar作业。
配置MRS Flink Jar作业
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
Flink作业名称 |
是 |
输入Flink作业名称。 系统支持Flink作业名称按照工作空间-作业名称格式自动填入。 作业名称只能包含英文字母、数字、中划线和下划线，且长度为1~64个字符，不能包含中文字符。 |
|
MRS集群名 |
是 |
选择MRS集群名称。
说明：
单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 |
|
运行程序参数 |
否 |
配置作业运行参数。当选择了MRS集群名后，该参数才显示。 该参数为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。
注意：
说明：
若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。 单击“选择模板”，选择已创建好的脚本模板，系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数，请参见《MapReduce用户指南》中的运行Flink作业。 |
|
Flink作业执行参数 |
否 |
配置Flink作业执行参数。 Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 |
|
MRS资源队列 |
否 |
选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 |
|
Flink作业资源包 |
是 |
选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 |
|
重跑策略 |
否 |
|
|
输入数据路径 |
否 |
设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 |
|
输出数据路径 |
否 |
设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。 |
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
作业状态轮询时间（秒） |
是 |
设置轮询时间（30~60秒、120秒、180秒、240秒、300秒），每隔x秒查询一次作业是否执行完成。 作业运行过程中，根据设置的作业状态轮询时间查询作业运行状态。 |
|
最长等待时间 |
是 |
设置作业执行的超时时间，如果作业配置了重试，在超时时间内未执行完成，该作业将会再次重试。
说明：
如果作业一直处于启动中状态，没有成功开始运行，超时后作业会被置为失败。 |
|
失败重试 |
否 |
节点执行失败后，是否重新执行节点。
说明：
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 |
参数设置完成后，单击“保存”，并提交该作业。
单击“启动”，运行该作业。
配置作业基本信息
|
参数 |
说明 |
|---|---|
|
责任人 |
自动匹配创建作业时配置的作业责任人，此处支持修改。 |
|
执行用户 |
当“作业调度身份是否可配置”设置为“是”，该参数可见。 执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。
说明：
配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 |
|
作业委托 |
当“作业调度身份是否可配置”设置为“是”，该参数可见。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 |
|
作业优先级 |
自动匹配创建作业时配置的作业优先级，此处支持修改。 |
|
实例超时时间 |
配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异常通知，当作业实例执行时间超过超时时间，将触发异常通知，发送消息给用户，作业不会中断，继续运行。 |
|
实例超时是否忽略等待时间 |
配置实例超时是否忽略等待时间。 如果勾选上，表示实例运行时等待时间不会被计入超时时间，可前往默认项设置修改此策略。 如果未选上，表示实例运行时等待时间会被计入超时时间。 |
|
自定义字段 |
配置自定义字段的参数名称和参数值。 |
|
作业标签 |
配置作业的标签，用以分类管理作业。 单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 |
配置作业参数
单击编辑器右侧的“参数”，展开配置页面，配置如表4所示的参数。
|
功能 |
说明 |
|---|---|
|
变量 |
|
|
新增 |
单击“新增”，在文本框中填写作业参数的名称和参数值。 参数配置完成后，在作业中的引用格式为：${参数名称} |
|
编辑参数表达式 |
在参数值文本框后方，单击 |
|
修改 |
在参数名和参数值的文本框中直接修改。 |
|
掩码显示 |
在参数值为密钥等情况下，从安全角度，请单击 |
|
删除 |
在参数值文本框后方，单击 |
|
常量 |
|
|
新增 |
单击“新增”，在文本框中填写作业常量的名称和参数值。 参数配置完成后，在作业中的引用格式为：${参数名称} |
|
编辑参数表达式 |
在参数值文本框后方，单击 |
|
修改 |
在参数名和参数值的文本框中直接修改，修改完成后，请保存。 |
|
删除 |
在参数值文本框后方，单击 |
|
工作空间环境变量 |
|
|
查看工作空间已配置的变量和常量。 |
|
单击“作业参数预览”页签，展开预览页面，配置如表5所示的参数。
|
功能 |
说明 |
|---|---|
|
当前时间 |
仅单次调度才显示。系统默认为当前时间。 |
|
事件触发时间 |
仅事件驱动调度才显示。系统默认为事件触发时间。 |
|
周期调度 |
仅周期调度才显示。系统默认为调度周期。 |
|
具体时间 |
仅周期调度才显示。周期调度配置的具体运行时间。 |
|
起始日期 |
仅周期调度才显示。周期调度的生效时间。 |
|
后N个实例 |
作业运行调度的实例个数。 |
在作业参数预览中，如果作业参数配置存在语法异常情况系统会给出提示信息。
如果参数配置了依赖作业实际运行时产生的数据，参数预览功能中无法模拟此类数据，则该数据不展示。
