更新时间:2023-03-17 GMT+08:00

Blob

配置场景

JobManager节点上的Blob服务端是用于接收用户在客户端上传的Jar包,或将Jar包发送给TaskManager,传输log文件等。Flink提供配置Blob服务端的一些配置项,用户请在“flink-conf.yaml”配置文件中进行配置

配置描述

用户可以配置端口,SSL,重试次数,并发等配置项。

表1 参数说明

参数

描述

默认值

是否必选配置

blob.server.port

blob服务器端口。

默认值为32456-32520。

blob.service.ssl.enabled

blob传输通道是否加密传输,仅在全局开关security.ssl开启时有。

true

blob.fetch.retries

TaskManager从JobManager下载blob文件的重试次数。

50

blob.fetch.num-concurrent

JobManager支持的下载blob的并发数。

50

blob.fetch.backlog

JobManager支持的blob下载队列大小,比如下载Jar包等。单位:个。

1000

library-cache-manager.cleanup.interval

当用户取消flink job后,jobmanager删除HDFS上存放用户jar包的时间,单位为s。

3600

针对MRS 3.x之前版本,不支持配置library-cache-manager.cleanup.interval参数项。