文档首页 > > 用户指南> 作业管理> Flink作业管理> 创建Flink自定义作业

创建Flink自定义作业

分享
更新时间: 2020/02/19 GMT+08:00

本章节介绍如何新建Flink自定义作业。用户可以基于Flink的API进行二次开发,构建自己的应用Jar包并提交到DLI的队列运行,DLI完全兼容开源社区接口。此功能需要用户自己编写并构建应用Jar包,适合对Flink二次开发有一定了解,并对流计算处理复杂度要求较高的用户。

前提条件

  • 用户运行Flink自定义作业时,需要将二次开发的应用代码构建为Jar包,上传到已经创建的OBS桶中。
  • 由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。用户需要在构建应用Jar包时,将Flink的相关依赖排除,在Maven或者Sbt构建工具中可以通过将scope设为provided来实现。
  • 确保已创建独享队列。

操作步骤

  1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入“Flink作业”页面。
  2. “Flink作业”页面右上角单击“新建作业”,弹出“新建作业”对话框。

    图1 新建Flink自定义作业

  3. 配置作业信息。

    表1 作业配置信息

    参数

    参数说明

    类型

    Flink自定义作业。

    名称

    作业名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~57字节。

    说明:

    作业名称必须是唯一的。

    描述

    作业的相关描述,且长度为0~512字节。

  4. 单击“确,进入编辑页面。
  5. 上传Jar包。

    图2 上传Jar包
    表2 参数说明

    名称

    描述

    应用程序

    用户自定义的程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中,并在数据管理>程序包管理中创建程序包,具体操作请参考创建程序包

    Main Class

    指定加载的Jar包类名,如KafkaMessageStreaming。

    • 默认:根据Jar包文件的Manifest文件指定。
    • 指定:需要输入类名并确定类参数列表(参数间用空格分隔)。
    说明:

    当类属于某个包时,需携带包路径,例如:packagePath.KafkaMessageStreaming

    参数

    指定类的参数列表,参数之间使用空格分隔。

    依赖jar包

    用户自定义的依赖程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中,并在数据管理>程序包管理中创建程序包,具体操作请参考创建程序包

  6. 配置作业参数。

    图3 配置参数
    表3 参数说明

    名称

    描述

    CUs

    一个CU为1核4G的资源量。CU数范围为2~400个。

    管理单元

    设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。

    并行数

    作业中每个算子的并行数。

    说明:
    • 并行数不能大于计算单元(CU-管理单元CU个数)的4倍。
    • 并行数最好大于用户作业里设置的并发数,否则有可能提交失败。

    保存作业日志

    设置是否开启保存作业日志功能。

    如果开启该功能,必须要选择OBS桶,且OBS桶必须授权才能使用。如果选择的OBS桶是未授权状态,需要单击“OBS授权”

    说明:

    OBS服务的相关操作,请参见《对象存储服务控制台指南》中的入门章节。

    作业异常告警

    设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。

    异常自动重启

    设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。

  7. 选择作业所属队列。

    图4 选择运行队列
    • 自定义作业只能运行在预先创建的独享队列上。
    • 如果“作业所属队列”下拉框中无可用的独享队列,请先创建一个独享队列并将该队列绑定到当前用户。

  8. 单击右上角“提交”,进入“作业配置清单”页面,单击“确认”,将作业提交并启动。

    提交作业后,系统将自动跳转到作业管理页面,新创建的作业将显示在作业列表中,在状态列中可以查看作业状态。作业提交成功后,状态将由提交中变为运行中。运行完成后显示“已完成”。

    如果作业状态为提交失败运行异常,表示作业提交或运行失败。用户可以在作业列表中的状态列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区