更新时间:2025-12-10 GMT+08:00
分享

FlinkServer作业相关依赖对接OBS

操作场景

FlinkServer支持在Jar作业、UDF管理和依赖管理中,将Jar包上传至OBS路径,并使用OBS上的Jar包进行作业提交。

约束与限制

  • 仅支持将Jar包上传到OBS或者HDFS上,不支持混用。
  • 配置的OBS路径为全局使用,不支持作业单独配置OBS路径。
  • OBS路径需要提前配置,不支持先使用HDFS路径提交作业,后改为OBS路径。
  • FlinkServer上传Jar包到OBS路径会创建子路径,请给FlinkServer分配单独路径。
  • 对接OBS功能不支持作业导入导出。
  • 本章节仅适用于MRS 3.6.0-LTS及之后版本。

配置OBS路径

  1. 登录Manager界面。
  2. 选择“集群 > 服务 > Flink > 配置 > 全部配置”。
  3. 搜索“flinkserver.upload.jar.obspath”参数填写OBS路径,添加完成后单击“保存”。

    OBS路径可包含数字、字母大小写、句号(.)、中划线(-)或下划线(_),均为英文半角符号。且只能以数字或者字母开头。

  4. 单击“实例”页签,进入实例管理页面,重启受影响的FlinkServer实例。

Jar作业上传Jar包至OBS路径

  • 通过“flinkserver.upload.jar.obspath”参数配置OBS路径后,Jar作业会将Jar包上传至指定OBS目录下,页面显示为OBS路径。

  • 作业提交时将使用OBS路径上的Jar包进行作业提交。

UDF管理上传Jar包至OBS路径

  • 通过“flinkserver.upload.jar.obspath”参数配置OBS路径后,UDF依赖会将Jar包上传至指定OBS目录下,页面显示为OBS路径。

  • UDF使用请参考配置管理UDF

依赖管理上传Jar包至OBS路径

  • 通过“flinkserver.upload.jar.obspath”参数配置OBS路径后,依赖管理会将Jar包上传至指定OBS目录下,页面显示为OBS路径。

  • 依赖管理使用请参考配置依赖管理
  • 通过“flinkserver.upload.jar.obspath”参数配置OBS路径后,依赖管理中“指定路径”方式只支持填写OBS路径,如不配置“flinkserver.upload.jar.obspath”参数,则只支持填写HDFS路径。

相关文档